本文介绍了ApacheFlink中Transformation类的关键操作如map、flatMap等，以及Sink类的使用，包括Connectors和自定义Sink。此外，详细解读了FlinkPartitioner的各种分区策略，如Global、Rebalance、Rescale和不同的分区方式如shuffle、Broadcast和keyby。
1.TransFormation类
- map
- flatmap
- filter
- keyby
- aggregation
- reduce
- iterate
- union
- connect
2.Sink类算子
- 基于Connectors
- 自定义Sink
3.Flink Partitioner 类算子
- Global : 上游所有分区会发送到下游第一个分区上
- Rebalance ： 数据会被循环发送到下游每一个分区中
- Rescale ： 根据上下游并行度，循环发送到下游算子的每个实例
- shuffle ： 随机
- Broadcast ： 广播
- Forward ：
- keyby ：
- 分区器。会将数据按Key的Hash值输出到下游算子实例中。
- Hash分区器。会将数据按 Key 的 Hash 值输出到下游算子实例中
- 用key进行hash 将结果对 分区数进行取余 发送到对应的分区
扫一扫
409
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
