开发flink程序有固定的流程:
1)获得一个执行环境。 如:StreamExecutionEnvironment
2)加载/创建初始化数据。 如:从kafka/文本等获取数据
3)指定操作数据的transaction(算子)。 计算逻辑处理
4)指定计算好的数据的存放位置 。 如:addSink()
5) 调用execute()触发程序执行。
flink上常用算子:
flatmap:输入一个元素,可以返回零个、一个、或多个元素。
window:聚合操作分为两种:增量聚合和全量聚合
1)全量聚合:窗口触发的时候才会对窗口内的所有数据进行一个运算,如process等。
2)增量聚合:每次进入一条数据就计算一次,如aggregate等。
filter(过滤算子):对传入的数据进行判断,符合条件的数据会被留下。