【Flink实战系列】Flink SQL 写入 kafka 自定义分区策略(sink.partitioner)

已于 2022-03-28 10:54:14 修改
阅读量4k 收藏 4
点赞数
分类专栏： Flink 实战系列 文章标签： flink
于 2022-03-27 23:17:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/123784248
版权
本文介绍了如何使用Flink SQL写入Kafka时自定义分区策略，详细讲解了default、fixed、round-robin等选项，并通过代码示例展示了如何实现FlinkKafkaPartitioner接口，确保数据按预期进入特定分区。测试结果显示，自定义分区策略成功将相同name的数据写入同一Kafka分区。
摘要由CSDN通过智能技术生成

Flink SQL 写入 kafka 自定义分区策略

当用 Flink SQL 写入 kafka 的时候如何指定分区策略呢？其实 Flink SQL 本身是提供有 sink.partitioner 参数的，详细可以查看官网 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/kafka/#sink-partitioner

sink.partitioner optional ‘default’ String Output partitioning from Flink’s partitions into Kafka’s partitions. Valid values aredefault: use the kafka default partitioner to partition records.fixed: each Flink partition ends up in at most one Kafka partition.round-robin: a Flink partition is distributed to Kafka partitions sticky round-robin. It only works when record’s keys are not specified.Custom FlinkKafkaPartiti
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RDD的Transformation（转换算子）
weixin_49063354的博客
09-27 489
RDD的Transformation（转换算子） RDD整体上分为Value类型、双Value类型和Key-Value类型 1 value类型 创建包名：com.xiao_after.value 1.1 map()映射 1）函数签名： def map[U: ClassTag](f: T => U): RDD[U] 2）功能说明：参数 f 是一个函数，它可以接收一个参数。当某个RDD执行map方法时， 会遍历该RDD中的每一个数据项，并依次应用 f 函数，从而产生一个新的RDD。即，这个 新的RDD
Flink-SQL upset-Kafka自定义分区器
qq_39639186的博客
12-13 2680
Flink-SQL upset-Kafka自定义分区器
FlinkSQL sink 到 kafka 中的分区分配规则
ChengYanan的博客
08-19 3552
场景 直接用 FlinkSQL 实现消费kafka中的数据,并经过一系列转换后sink到kafka另一个topic中。 INSERT INTO kafka_sink_table SELECT xxx FROM kafka_source_table Flink SQL的kafka connector里有一个参数sink.partitioner 1，如下： 固定:每个Flink分区结束在最多一个Kafka分区。 循环:一个Flink分区被分配到Kafka分区循环。 自定义FlinkKafkaPartiti
flink sql写kafka中的分区匹配规则
三暮辰的博客
06-13 1071
flink sql sink 到kafka中的分区匹配规则
Flink SQL 实战：从基础开发到 Kafka 与 MySQL 交互
最新发布
天冬忘忧的博客
12-05 1733
在大数据处理领域，Apache Flink 凭借其强大的流批一体处理能力备受青睐，而 Flink SQL 更是为开发者提供了高效便捷的数据处理方式，能以类 SQL 的语法轻松应对复杂的数据场景。今天，就让我们深入探究 Flink SQL 的开发步骤、核心概念以及常见的使用案例，包括与 Kafka 和 MySQL 的联动操作。
Flink SQL FileSystem Connector分区提交与自定义小文件合并策略
LittleMagic's Blog
08-04 3668
Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQL的FileSystem Connector为了与Flink-Hive集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并...
Flink Sink Kafka 自定义Topic与自定义分区
znmdwzy的博客
07-03 3661
Flink Sink Kafka 自定义Topic与自定义分区 需求背景： Flink处理完成数据后，需要将消息传给Kafka，为了避免数据倾斜，根据消息的主键进行Hash取模，自定义输出到对应的Topic，为了提升从Kafka读取消息的速度，将相同主键的消息存放到同一分区。 解决方案： Flink-Kafka连接器中有一个可以传递序列化类和分区器的构造方法，我们可以重写这两个方法实现自定义Topic和自定义分区，具体方法如下： @Deprecated public FlinkKafkaProducer0
【Flink读写外部系统】Flink自定义kafka分区并输出
大白
09-25 1174
Flink数据发送到kafka,并自定义Kafka分区; 注意这里是通过FlinkkafkaProducer将数据发送到kafka；跟下面的检查点是不一样的 FlinkkafkaProducer下的消费保障总共分为3级别 val kafkaSink = new FlinkKafkaProducer[ResultDt]("topicName", kafkaPro, FlinkKafkaProducer.Semantic.EXACTLY_ONCE)
flinkSQL数据写kafka多分区
weixin_42868529的博客
10-13 2053
1、背景 FlinkSQL数据写kafka，如果不设置并行度，默认是1。 但是由于数据量和下游消费者的需求，需要往多个kafka分区写数据，提高并发，在这个情况下，需要保证同一个主键的数据发往同一个partition，flinkSQL已经支持这个功能，接下来我们实现一下 2、实现（python代码） 只需要两步： 1⃣️初始化：初始化加上flink并行的配置table_env.get_config().get_configuration().set_string(“parallelism.default”,
Flink写入kafka的自定义Key值
liuygvip的博客
09-13 2745
在kafka消息需要有序计算时，可以自定义分区，让一类数据有序进入一个分区上，又kafka特性决定
kafka sink partition
weixin_33717117的博客
07-21 142
2019独角兽企业重金招聘Python工程师标准>>> ...
flink:自定义数据分区
amadeus_liu2的博客
03-05 1000
rebalance用round robbin模式将数据分配到下游的子任务。partitionCustom: 自定义数据分区。shuffle随机地将数据分配到下游的子任务。global把所有的数据都分配到一个分区。
flinksql把的userid写到指定的kafka分区
wppwpp1的专栏
02-23 549
1、生产上flinksql经常用到根据指定的userid划分到同一个task任务里进行调度，这时候可以使用group by user_id,解决相同userid分到同一个task处理，但是sink到结果表比如kafka或者sls等mq的消息队列时，如果不指定分区规则，则可能同一个userid也会分到不通partition，这时候就需要指定sink的策略。 ...
bootstrap sql 城市选择_Flink 1.9—SQL 创建 Kafka 数据源
weixin_42347522的博客
12-31 204
前言目前 Flink 1.9 SQL 支持用户直接使用 SQL 语句创建 Kafka 数据源，这极大的方便了用户开发 Flink 实时任务，你可以像 Hive 一样，使用 Create Table 语句来创建 Kafka Source，同时在也可以使用 Select 语句，从这个表中读取数据，进行窗口、ETL等操作。本文主要讲解 Flink 1.9 SQL 创建 Kafka 的 SQL 语法使用，...
转载--Flink sql 按时间分区写入到本地文件，hdfs文件
qq_31866793的博客
07-13 4098
详情请看：https://www.aboutyun.com/forum.php?mod=viewthread&tid=29104 直接上代码： 已经验证过jsonpaquet等数据格式写入，在本地磁盘生成了文件。要注意的是要注意导入依赖： package flinksql; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.ap...
Flink写入kafka时，只写入kafka的部分Partitioner，无法写所有的Partitioner问题
weixin_30725467的博客
04-19 2490
1. 写在前面 在利用flink实时计算的时候，往往会从kafka读取数据写入数据到kafka，但会发现当kafka多个Partitioner时，特别在P量级数据为了kafka的性能kafka的节点有十几个时，一个topic的Partitioner可能有几十个甚至更多，发现flink写入kafka的时候没有全部写Partitioner，而是写了部分的Partitioner，虽然这个问题不容易被发现...
【Kafka】flinkProducer kafka分区策略及kafka 默认分区策略
Mrerlou的博客
07-04 3699
最近在学习 读写 ， 突然想到如果 生产消息到，那么这条消息如何确定发往那个分区。顺便也回顾下 本身一个默认分区策略和生产策略这里整理并记录下。这里我们使用 来将数据写入到 Kafka，那么KafkaSink 是如何确定一条消息要发送到那个分区？默认的策略是什么？可以看到 只有 这一个默认的实现。相关的分区策略代码如下： 可以看出 是根据运行子任务的并行度进行分区数的取余写入的。计算公式如下。 2. null 当我们代码指定分区策略为 时，那么肯定就会选用Kafka 本身默认的分区策略。我
FlinkSql 读取kafka sink到mysql 案例
追赶者的博客
11-27 1949
public static void main(String[] args) { StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); bsEnv.setStreamTimeCharacteristic(TimeCharacterist...
flink写入kafka之自定义分区器
qq_24124009的博客
04-24 6076
直入正题，flink写入kafka根据某个数据中的字段做分区发送到kafka的指定分区，如果你在sink中每次要手动写producer，那么你可以略过此文章 接着上篇文章flink写入kafka之默认序列化类和默认分区器 直接上代码 /*自定义分区*/ @SuppressWarnings("unchecked") FlinkKafkaProducer010<String> fl...
flink sql 按照指定字段分区写入kafka
05-18
可以通过 Flink SQL 中的 `PARTITION BY` 子句来指定分区字段，然后使用 Flink 的 Kafka Producer 将数据发送到 Kafka 中。下面是一个示例代码： ```java // 创建 Flink Table Environment ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值