flink常见的八种分区方式

最新推荐文章于 2024-06-09 14:42:50 发布
最新推荐文章于 2024-06-09 14:42:50 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： flink 文章标签： java flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40700727/article/details/118516966
版权

BroadcastPartitioner：广播分区器，将数据发往下游的所有节点
CustomPartitionerWrapper：自定义分区器，可以自定义分区的规则
ForwardPartitioner：转发分区器，将数据转发给在本地运行下游的operater
ShufflePartitioner： 洗牌分区器，将数据在所有output chancel随机选择一个输出
GlobalPartitioner：全局分区器：默认会选择索引为0的channel进行输出
KeyGroupStreamPartitioner：键组分区器，通过记录数据的值获取到分区key：keyGroupId * parallelism / maxParallelism;
RebalancePartitioner：轮询分区器，适用于数据倾斜
RescalePartitioner：可扩展的分区器，通过轮询的方式将数据向下游输出

少年阿宏
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink 核心篇】Flink 的八种分区策略（源码解读）
书山有路，学海无涯。记录成长，追逐梦想
03-09 1667
Flink 包含 8 种分区策略，这 8 种分区策略（分区器）分别如下面所示，本文将从源码的角度解读每个分区器的实现方式。
Flink分区策略
影子
03-12 2307
分区策略决定了一条数据如何发给下游，Flink中提供八大分区策略。 1、BroadcastPartitioner广播分区会将上游数据输出到下游算子的每个实例()，适合于大数据和小数据集做JOIN场景。 2、CustomPartitionerWrapper自定义分区需要用户根据自己实现Partitioner接口，来定义自己的分区逻辑。 3、ForwarPartitioner用户将记录输出到下游本地的算子实例。它要求上下游算子并行度一样。简单的说，ForwarPartitioner可以来做控制台打印。 4、
浅议Flink中算子间的八种数据传输策略
最新发布
HuailiShang的博客
06-09 891
Flink中为上下游subtask之间数据传输提供了九种传输策略。
Flink八种分区策略
不爱吃鱼的馋猫
12-11 3015
什么要搞懂什么是分区策略。分区策略是用来决定数据如何发送至下游。目前 Flink 支持了8中分区策略的实现。 GlobalPartitioner数据会被分发到下游算子的第一个实例中进行处理。 ShufflePartitioner数据会被随机分发到下游算子的每一个实例中进行处理。RebalancePartitioner数据会被循环发送到下游的每一个实例中进行处理。RescalePartitioner这种分区器会根据上下游算子的并行度，循环的方式输出到下游算子的每个实例。这里有点难以理解，假设上游并...
Flink物理分区的几种方式
FlatTiger的博客
05-28 1277
随机分区（shuffle） 最简单的重分区方式就是shuffle，通过调用DataStream的.shuffle()方法，将上游数据随机分配到下游的并行任务中。 轮询分区（Round-Robin） 轮询也是常见的重分区方式，通过调用DataStream的.rebalance()方法，将上游的数据平均分配到下游所有的并行任务中。 重缩放分区（rescale） 重缩放分区和轮询分区非常类型，当调用resacle()方法时，底层调用的其实就是Round-Robin算法进行轮询。 不同的是，rescale重缩放
Flink 中KeyBy、分区、分组的正确理解
文文x的博客
10-13 3137
数据具体去往哪个分区，是通过指定的 key 值先进行一次 hash 再进行一次 murmurHash，通过上述计算得到的值再与并行度进行相应的计算得到。在Flink中，KeyBy作为我们常用的一个聚合类型算子，它可以按照相同的Key对数据进行重新分区，分区之后分配到对应的子任务当中去。Flink中的KeyBy底层其实就是通过Hash实现的，通过对Key的值进行Hash，再做一次murmurHash，取模运算。注意：数据如果具有相同的key将一定去往同一个分组和分区，但是同一分区中的数据不一定属于同一组。
Flink的六种物理分区策略
勇敢牛牛，不怕困难！
11-17 1143
当 Flink 提 供 的 所 有 分 区 策 略 都 不 能 满 足 用 户 的 需 求 时 ， 我 们 可 以 通 过 使 用partitionCustom()方法来自定义分区策略。可以通过字段名称指定，也可以通过字段位置索引来指定，还可以实现一个 KeySelector// 创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment . getExecutionEnvironment();} }.
flink-lib.zip
03-11
这包括了Hive的JDBC驱动，以及Flink的Hive桥接模块，如`flink-connector-hive`，使得Flink能理解Hive的表格式和分区策略。 - **Hive SerDes**：Flink在处理Hive数据时，需要用到Hive的SerDe（序列化/反序列化）类，...
flink1.12.0集成或者连接hive3.1.2的依赖包
04-16
Flink 提供了两种方式与 Hive 集成：Table API 和 SQL。Table API 是一种声明式编程模型，适用于 Java 和 Scala；SQL 则更直观，适合熟悉 SQL 的用户。两者都可以通过 Flink 的 Hive 支持创建、查询和更新 Hive 表。...
6万字、110个知识点Flink面试大全.pdf
11-30
此外，Flink还支持多种分区策略，以控制数据在不同Task间的分布方式，优化性能。 Flink wordcount程序是学习Flink的经典示例，它包括读取输入数据、应用map操作将单词拆分、使用keyBy进行分组、然后执行reduce操作...
Flink状态管理和恢复技术介绍1
08-04
Flink的状态可以分为两种类型：Keyed State和Operator State。Keyed State是基于键分区的，每个键对应一个独立的状态，适用于处理分组数据。Operator State则是为全局限定的操作符所保留的，它不依赖于特定的键，...
Flink on Hive构建流批一体实时数仓.pdf
08-14
在构建实时数仓的过程中，Flink on Hive 是一种常见的解决方案，它允许用户通过Apache Flink进行批处理和流处理，实现流批一体的实时数据处理。这篇文章主要探讨了如何使用Flink与Hive进行集成，以及如何利用Flink对...
Flink物理分区（Physical Partitioning）（出自b站尚硅谷）
qq_24095055的博客
05-26 1599
文章目录前言1. 随机分区（shuffle）2. 轮询分区（Round-Robin）3. 重缩放分区（rescale）4. 广播（broadcast）5. 全局分区（global）6. 自定义分区（Custom） 前言 顾名思义，“分区”（partitioning）操作就是要将数据进行重新分布，传递到不同的流分区去进行下一步处理。其实我们对分区操作并不陌生，前面介绍聚合算子时，已经提到了 keyBy，它就是一种按照键的哈希值来进行重新分区的操作。只不过这种分区操作只能保证把数据按key“分开”，至于分得均不
Flink系列之：动态发现新增分区
zhengzaifeidelushang的博客
08-01 2104
Flink系列之：动态发现新增分区
【Flink】分区策略
一杯咖啡半杯糖的博客
02-10 1260
flink1.13用什么策略把数据发送到下个算子中呢？ 在分布式计算中，flink把数据集依据不同的策略发送到下游算子中，而策略的实现由分区器决定，flink所有的分区器都实现了ChannelSelector 接口，下面是ChannelSelector的实现类 由实现类我们知道有9种分区器 GlobalPartitioner 数据会被分发到下游算子的第一个实例中进行处理。 ShufflePartitioner 数据会被随机分发到下游算子的每一个实例中进行处理。 RebalanceP
flink分析使用之五工作图的生成和分发
fpcc的专栏
05-26 1130
一、JobGraph 在Flink中的有以下几种图，即StreamGraph，它用来生成JobGraph，然后再由分发器将其分发生成ExecutionGraph并进而形成Task任务执行的任务图（这个图就只是一个逻辑概念了）。JobGraph是非常重要的一环，其它的图以后再详细分析。学过图的都知道，图和其它数据结构明显不同的是，图有节点和边的概念。 那么看一下Flink中这个图的定义： publ...
Flink从入门到精通
12-26
本课程从0到1进行Flink的介绍，对当下最火的大数据技术Flink进行深入解析，并结合实际电商项目快速掌握Flink的开发技术。
flinkSQL数据写kafka多分区
weixin_42868529的博客
10-13 1879
1、背景 FlinkSQL数据写kafka，如果不设置并行度，默认是1。 但是由于数据量和下游消费者的需求，需要往多个kafka分区写数据，提高并发，在这个情况下，需要保证同一个主键的数据发往同一个partition，flinkSQL已经支持这个功能，接下来我们实现一下 2、实现（python代码） 只需要两步： 1⃣️初始化：初始化加上flink并行的配置table_env.get_config().get_configuration().set_string(“parallelism.default”,

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值