Flink 流处理核心编程及算子操作

Flink 流处理核心编程及算子操作

经过一段时间的学习，我对flink流处理的编程基础、核心API（转换算子）、开发流程等做出了如下整理。

Environment运行环境

从flink1.12.0起，flink在真正的意义上实现了流批一体。
flink的运行环境包括批处理环境和流处理环境
在开发过程中获取比较简单，只需要如下操作

// 批处理环境
ExecutionEnvironment benv = ExecutionEnvironment.getExecutionEnvironment();
// 流式数据处理环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

Source数据来源
Flink框架可以从不同的来源获取数据，将数据提交给框架进行处理, 我们将获取数据的来源称之为数据源(Source)。
比如集合、文件、网络端口、kafka、hdfs以及自定义等等。
这些比较简单

1. 比如从文件中获取

readTextFile("input")

2. 从网络端口获取

env.socketTextStream("localhost", 9999)

3. 从kafka获取

KafkaSource<String> source = KafkaSource.<String>builder()
    .setBootstrapServers(brokers)
    .setTopics("input-topic")
    .setGroupId("my-group")
    .setStartingOffsets(OffsetsInitializer.earliest())
    .setValueOnlyDeserializer(new SimpleStringSchema())
    .build();

env.fromSource(source, WatermarkStrategy.noWatermarks(), "Kafka Source");

4. 数据从dhfs目录下读取

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
</dependency>

5. 自定义Source

需要实现SourceFunction相关接口，
重写run()和canel()方法，需要指定并行度的话可以实现ParallelSourceFunction这个接口

public static class 
AppMarketingDataSource