BroadcastPartitioner:广播分区器,将数据发往下游的所有节点
CustomPartitionerWrapper:自定义分区器,可以自定义分区的规则
ForwardPartitioner:转发分区器,将数据转发给在本地运行下游的operater
ShufflePartitioner: 洗牌分区器,将数据在所有output chancel随机选择一个输出
GlobalPartitioner:全局分区器:默认会选择索引为0的channel进行输出
KeyGroupStreamPartitioner:键组分区器,通过记录数据的值获取到分区key:keyGroupId * parallelism / maxParallelism;
RebalancePartitioner:轮询分区器,适用于数据倾斜
RescalePartitioner:可扩展的分区器,通过轮询的方式将数据向下游输出
flink常见的八种分区方式
最新推荐文章于 2024-07-10 19:39:29 发布