PyFlink 物理分区(Physical Partitioning)

最新推荐文章于 2024-05-20 22:54:06 发布

大数据与Python

最新推荐文章于 2024-05-20 22:54:06 发布

阅读量103

点赞数

分类专栏： PyFlink 文章标签： python flink 数据仓库大数据 etl工程师 etl 数据库架构

本文链接：https://blog.csdn.net/qq_33242301/article/details/132525414

版权

PyFlink 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Flink 也提供了在转换后精确控制流分区的底层控制(如果需要的话),主要通过以下函数:

shuffle() - 随机重新分区流
global() - 将所有数据发送到下游算子的第一个实例
broadcast() - 向下游的每个并行实例广播流
forward() - 在可能的情况下保留分区
partitionCustom() - 通过用户定义的 Partitioner 进行自定义分区

自定义分区(Custom Partitioning)

DataStream → DataStream
使用用户定义的Partitioner为每个元素选择目标任务。

自定义分区允许用户实现自定义的分区逻辑,即控制每个元素发送到哪个下游任务。

要实现自定义分区,需要创建一个实现 Partitioner 接口的类:

data_stream = env.from_collection(collection=[(2, 'a'), (2, 'a'), (3, 'b')])
data_stream.partition_custom(lambda key, num_partition: key % partition, lambda x: x[0])

随机分区(Random Partitioning)

DataStream → DataStream

根据均匀分布随机将元素分区。

随机分区可以通过 DataStream 的 shuffle() 方法应用:

data_stream.shuffle()

这会随机将 stream 的元素派发到下游运算符的所有分区上,达到重新均衡分区的效果。

随机分区的特点是:

将元素均匀随机分布到下游所有分区
打破上游的分区与键的相关性
有利于并行度弹性调整

随机分区适用于数据负载失衡的情况,或者上游分区与业务关系不大时,可以随机打散分区。它有利于更好地平衡下游任务的负载。

但随机分区也有消耗,应该在需要时选择使用。

重新缩放(Rescaling)

DataStream → DataStream

以轮询的方式将元素分区到下游运算符的一个子集中。这在一些场景下比较有用,例如您想从每个上游源并行实例扇出到几个下游 mapper 的子集来分配负载,但又不想引入 rebalance() 带来的完全重新均衡。这样可以只需要本地数据传输,而不用通过网络传输数据,这取决于其他配置值如 TaskManager 的 slot 数。

上游操作发送元素到下游操作的子集,取决于上下游运算符的并行度。例如,如果上游运算符并行度为2,下游运算符并行度为6,则一个上游实例会将元素分发到3个下游实例,另一个上游实例分发到其余3个下游实例。如果下游运算符并行度为2,而上游运算符为6,则有3个上游实例分发到一个下游实例,另3个上游实例分发到另一个下游实例。

如果上下游运算符的并行度不是彼此的整数倍,则会有一个或几个下游实例输入数目与其他实例不同。

重新缩放适用于上下游operator并行度不匹配、需要局部调整的场景。它提供了一个介于全局rebalance和forward之间的粒度分区控制。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6C5JKzZQ-1693127699418)(https://files.mdnice.com/user/3948/20094a0a-53a1-4c4f-9733-c90d8657fd19.svg)]