[flink]#13_Data Set

DataSource

1. 基于集合
   fromCollection(Collection)

2. 基于文件
   readTextFile(path)

Transformation

• Map

• FlatMap

• MapPartition: 一次处理一个分区的数据

• Filter

• Reduce

• Aggregations

• Distinct: 返回数据集中去重后的元素

• Join

• OuterJoin

• Cross

• Union

• First-n：获取集合中前n个元素

• Sort Partition：对所有分区排序

• Rebalance：

• Hash-Partition：根据指定key的散列值对数据集分区
  partitionByHash()

• Range-Partition：根据指定key对数据集进行范围分区
  .partitionByRange

• Custom Partition
  partitionCustom(partitioner, "someKey")
partitionCustom(partitioner, 0)

Sink

• writeAsText()
• writeAsCsv()
• print()