Flink既可以进行批处理(DataSet),也可以进行实时处理(DataStream)。
所以将下面的Flink算子分为两大类:DataSet DataStream
1 DataSet
1.1 Datasource算子
1.1.1 fromCollection
1.1.2 readTextFile
1.1.3 readTextFile:遍历目录
1.1.4 readTextFile:读取压缩文件
1.2 Transformation算子
1.2.1 map
1.2.2 flatMap
1.2.3 mapPartition
1.2.4 filter
1.2.5 reduce
1.2.6 reduceGroup
1.2.7 minBy和maxBy
1.2.8 Aggregate
1.2.9 distinct
1.2.10 first
1.2.11 join
1.2.12 leftOuterJoin
1.2.13 cross
1.2.14 union
1.2.15 rebalance
1.2.16 partitionByHash
1.2.17 partitionByRange
1.2.18 sortPartition
1.3 Sink算子
1.3.1 collect
1.3.2 writeAsText
2.DataStream
2.1Datasource算子
2.2Transformation算子
2.3Sink算子