flink（二）：数据接入DataSource和数据输出DataSink

说明

• 本博客每周五更新一次。
• flink数据处理过程分为三部分：DataSource、Transformation、DataSink，分别处理数据的接入、处理和输出，由于处理部分内容较多，下次分享，本文只介绍数据接入和数据输出。

DataSource 数据接入

内置数据源

文件

• 可以直接读取文件，也可指定csvInputFormat读取文件。

env.readTextFile("/user/local/data_example.log")
env.readFile(new CsvInputFormat(new Path("/user/local/data_example.csv")))

• readFile方法可以指定读取类型（WatchType），检测文件变换时间间隔（interval）、文件路径过滤条件（FilePathFilter）等参数。
• WatchType分为两中类型
  • PROCESS_CONTINUOUSLY：一旦检测文件发生变化，Flink会将该文件全部内容加载到Flink系统中进行处理。
  • PROCESS_ONCE：文件发生变化时，只会将变化的数据读取至Flink，这种情况，数据只会被读取和处理一次。

socket

• StreamExecutionEnvironment调用socketTextStream方法，参数设定ip和端口、字符串切割符、和最大重试次数（0时不会重试）。

env.socketTextStream("localhost","9999");

flink集合数据源

• 直接将Java或Scala程序中集合类（Collection）转换为DataStream数据集。注意：集合内元素的数据类型必须一致。

//元素集合
val dataStream=env.fromElements(Tuple2(1L,3L),Tuple2(1L,5L),Tuple2(1L,7L),Tuple2(1L,4L),Tuple2(1L,2L));

//数组
String[] elements=new String[]{"hello","flink"};
DataStream<String> dataStream=new env.fromCollection(Arrays.asList(elements));
//集合
List<String> arrayList=new ArrayList<>();
arrayList.add("hello flink");
DataStream<String> dataList=env.fromCollection(arrayList);

第三方数据源

• 主要依赖于第三方数据源连接器（Connecter）实现。

kafka Connector

• 导包

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.12</artifactId>
    <version>1.12.2</version>
</dependency>

• java代码

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.setProperty("group.id", "flink-group");
//数据源
String topic="test-topic";
@SuppressWarnings("deprecation")
FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>(topic, new SimpleStringSchema(), props);

• 自定义schema实现传入数据转换为定制结构，主要实现Deserializaion
  Schema接口来实现
  • deserialize()：完成数据从byte[]数据类型转化为SourceEvent的反序列化操作。
  • GetProducedType()：将数据类型转换成Flink系统所支持的数类型，如下实例的TypeInformation

public class SourceEventSchema implements DeserializationSchema<SourceEvent>{

  private static final log serialVersionUID=6151800L;
  @Override
  public SourceEvnet deserialize(byte[] message)throws IOException{
    return SourceEvent.fromString(new String(message));
  }
  @Override
  public boolean isEndOfStream(SourceEvent nextElement){
    return false;
  }
  @Override
  public TypeInformation<SourceEvent> getProducedType(){
    return TypeInformation.of(SourceEvent.class)
  }
}

解析类

• KeyedDeserializationSchema

  • deserialize()定义了T deserialize(byte[] messageKey,byte[] message,String topic,int partition,long offset)

• TypeInformationSerializationSchema

• JsonDeserializationSchema

• AvroDeserializationSchema

自定义数据源连接器

• 定义完DataSource后，可通过使用SteamExecutionEnvironment的addSources方法添加数据源。定义各类DataSource方法如下：

单线程数据源连接器

• 实现SourceFunction

并发数据源连接器

• ParallelSourceFunction接口
• RichParallelSourceFunction类

DataSink 数据输出

• 经过各种数据transformation后形成需要的数据集，一般会将结果输出到外部存储介质或下游的消息中间件，flink中将DataStream数据输出到外部系统的过程定义为DataSink。Flink内部定义的第三方外部系统连接器当前有：Kafka、Cassandra、Kinesis、Elasticsearch、hadoop FileSystem、RabbitMQ、NIFI等。

基本输出类型

• 基本数据输出包含文件输出、客户端输出、socket网络端口等。实例代码如下：

val personStream = env.fromElements(("Alex",18),("Peter",43))
//通过writeAsCsv方法将数据转换为CSV文件输出，并执行输出模式为OVERWRITE
personStream.writeAsCsv("file:///path/to/person.csv",WriteMode.OVERWRITE)
//通过writeAsText方法将数据直接输出到本地文件系统
personStream.writeAsText("file:///path/to/person.txt")
//通过writeToSocket方法将DataStream数据集输出到指定socket端口
personStream.writeToSocket(outputHost,outputPort,new SimpleStringSchema())

第三放输出类型

• Flink体统了DataSink类操作算子处理数据的输出，所有的数据输出都基于实现SinkFunction完成定义。如Flink中定义FlinkKafkaProducer来完成将数据输出到Kafka的操作。

总结

• 通过学习和理解大型项目，借鉴其中精华，越来越发觉设计对于项目开发的重要性，根据需求确定功能模块，然后抽象各个模块的功能再实现，所有项目都基于这样的思想和讨论，这就是面向对象编码在项目架构上的实际应用。
• 加油，好好学习，天天向上。