【Flink实战系列】Flink SQL 写入 kafka 自定义分区策略(sink.partitioner)

已于 2022-03-28 10:54:14 修改
阅读量3.9k 收藏 4
点赞数
分类专栏： Flink 实战系列 文章标签： flink
于 2022-03-27 23:17:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianpanjia4616/article/details/123784248
版权
本文介绍了如何使用Flink SQL写入Kafka时自定义分区策略，详细讲解了default、fixed、round-robin等选项，并通过代码示例展示了如何实现FlinkKafkaPartitioner接口，确保数据按预期进入特定分区。测试结果显示，自定义分区策略成功将相同name的数据写入同一Kafka分区。
摘要由CSDN通过智能技术生成

Flink SQL 写入 kafka 自定义分区策略

当用 Flink SQL 写入 kafka 的时候如何指定分区策略呢？其实 Flink SQL 本身是提供有 sink.partitioner 参数的，详细可以查看官网 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/kafka/#sink-partitioner

sink.partitioner optional ‘default’ String Output partitioning from Flink’s partitions into Kafka’s partitions. Valid values aredefault: use the kafka default partitioner to partition records.fixed: each Flink partition ends up in at most one Kafka partition.round-robin: a Flink partition is distributed to Kafka partitions sticky round-robin. It only works when record’s keys are not specified.Custom FlinkKafkaPartiti
了解本专栏 订阅专栏 解锁全文 超级会员免费看
JasonLee实时计算
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink实战系列】Flink 如何动态写入 kafka 的多个 topic
JasonLee实时计算
04-16 8059
昨天在群里一个同学问了这样一个问题,Flink怎么根据数据里面的某个字段动态把数据写入多个kafka的topic.其实这个问题非常简单,你肯定会想到说写多个sink就可以了,Flink确...
FlinkSQL学习笔记（二）表定义详解
weixin_37172178的博客
02-24 1956
表的表示结构catalog name：元数据空间，常用于标识不同的“源”，比如hive catalog，inner catalog等；使得Flink里面创建的表hive中能查到，但是不一定可以取数，原因在于这里不同的“源”的定义在hive中没有，不一定可以查到。更多细节参考补充说明。database name：通常语义中的“库”table name：通常语义中的“表”表与视图FlinkSQL中的表，可以是Virtual的（view视图）和regular的（table常规表）
flinkSQL数据写kafka多分区
weixin_42868529的博客
10-13 1936
1、背景 FlinkSQL数据写kafka，如果不设置并行度，默认是1。 但是由于数据量和下游消费者的需求，需要往多个kafka分区写数据，提高并发，在这个情况下，需要保证同一个主键的数据发往同一个partition，flinkSQL已经支持这个功能，接下来我们实现一下 2、实现（python代码） 只需要两步： 1⃣️初始化：初始化加上flink并行的配置table_env.get_config().get_configuration().set_string(“parallelism.default”,
Flink SQL 实时读取 kafka 数据写入 Clickhouse —— 日志处理（三）
最新发布
奔跑的蜗牛的博客
07-21 1517
本文总结了如何使用使用 Clickhouse 保存日志数据，以及如何通过 Flink SQL 将我们的日志实时从 kafka 同步至 clickhouse，然后在结合强大的第三方查询 BI 工具 superset，玩转业务日志，挖掘业务日志的潜在价值。 本文设计到的技能知识点比较多，需要熟悉 Clickhouse， Kafka, FlinkSQL, Superset 等，我之前的文章中总结了一些关于 Clickhouse 和 Kafka 相关的内容，感兴趣的读者可以看看.
RDD的Transformation（转换算子）
weixin_49063354的博客
09-27 450
RDD的Transformation（转换算子） RDD整体上分为Value类型、双Value类型和Key-Value类型 1 value类型 创建包名：com.xiao_after.value 1.1 map()映射 1）函数签名： def map[U: ClassTag](f: T => U): RDD[U] 2）功能说明：参数 f 是一个函数，它可以接收一个参数。当某个RDD执行map方法时， 会遍历该RDD中的每一个数据项，并依次应用 f 函数，从而产生一个新的RDD。即，这个 新的RDD
Flink SQL FileSystem Connector分区提交与自定义小文件合并策略
LittleMagic's Blog
08-04 3560
Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQL的FileSystem Connector为了与Flink-Hive集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并...
Flink-SQL upset-Kafka自定义分区器
qq_39639186的博客
12-13 2591
Flink-SQL upset-Kafka自定义分区器
Flink Sink Kafka 自定义Topic与自定义分区
znmdwzy的博客
07-03 3557
Flink Sink Kafka 自定义Topic与自定义分区 需求背景： Flink处理完成数据后，需要将消息传给Kafka，为了避免数据倾斜，根据消息的主键进行Hash取模，自定义输出到对应的Topic，为了提升从Kafka读取消息的速度，将相同主键的消息存放到同一分区。 解决方案： Flink-Kafka连接器中有一个可以传递序列化类和分区器的构造方法，我们可以重写这两个方法实现自定义Topic和自定义分区，具体方法如下： @Deprecated public FlinkKafkaProducer0
【Flink读写外部系统】Flink自定义kafka分区并输出
大白
09-25 1122
Flink数据发送到kafka,并自定义Kafka分区; 注意这里是通过FlinkkafkaProducer将数据发送到kafka；跟下面的检查点是不一样的 FlinkkafkaProducer下的消费保障总共分为3级别 val kafkaSink = new FlinkKafkaProducer[ResultDt]("topicName", kafkaPro, FlinkKafkaProducer.Semantic.EXACTLY_ONCE)
Flink写入kafka的自定义Key值
liuygvip的博客
09-13 2579
在kafka消息需要有序计算时，可以自定义分区，让一类数据有序进入一个分区上，又kafka特性决定
kafka sink partition
weixin_33717117的博客
07-21 129
2019独角兽企业重金招聘Python工程师标准>>> ...
flink:自定义数据分区
amadeus_liu2的博客
03-05 886
rebalance用round robbin模式将数据分配到下游的子任务。partitionCustom: 自定义数据分区。shuffle随机地将数据分配到下游的子任务。global把所有的数据都分配到一个分区。
flinksql把的userid写到指定的kafka分区
wppwpp1的专栏
02-23 513
1、生产上flinksql经常用到根据指定的userid划分到同一个task任务里进行调度，这时候可以使用group by user_id,解决相同userid分到同一个task处理，但是sink到结果表比如kafka或者sls等mq的消息队列时，如果不指定分区规则，则可能同一个userid也会分到不通partition，这时候就需要指定sink的策略。 ...
bootstrap sql 城市选择_Flink 1.9—SQL 创建 Kafka 数据源
weixin_42347522的博客
12-31 187
前言目前 Flink 1.9 SQL 支持用户直接使用 SQL 语句创建 Kafka 数据源，这极大的方便了用户开发 Flink 实时任务，你可以像 Hive 一样，使用 Create Table 语句来创建 Kafka Source，同时在也可以使用 Select 语句，从这个表中读取数据，进行窗口、ETL等操作。本文主要讲解 Flink 1.9 SQL 创建 Kafka 的 SQL 语法使用，...
转载--Flink sql 按时间分区写入到本地文件，hdfs文件
qq_31866793的博客
07-13 4040
详情请看：https://www.aboutyun.com/forum.php?mod=viewthread&tid=29104 直接上代码： 已经验证过jsonpaquet等数据格式写入，在本地磁盘生成了文件。要注意的是要注意导入依赖： package flinksql; import org.apache.flink.streaming.api.datastream.DataStream; import org.apache.flink.streaming.ap...
Flink写入kafka时，只写入kafka的部分Partitioner，无法写所有的Partitioner问题
weixin_30725467的博客
04-19 2448
1. 写在前面 在利用flink实时计算的时候，往往会从kafka读取数据写入数据到kafka，但会发现当kafka多个Partitioner时，特别在P量级数据为了kafka的性能kafka的节点有十几个时，一个topic的Partitioner可能有几十个甚至更多，发现flink写入kafka的时候没有全部写Partitioner，而是写了部分的Partitioner，虽然这个问题不容易被发现...
【Kafka】flinkProducer kafka分区策略及kafka 默认分区策略
Mrerlou的博客
07-04 3554
最近在学习 读写 ， 突然想到如果 生产消息到，那么这条消息如何确定发往那个分区。顺便也回顾下 本身一个默认分区策略和生产策略这里整理并记录下。这里我们使用 来将数据写入到 Kafka，那么KafkaSink 是如何确定一条消息要发送到那个分区？默认的策略是什么？可以看到 只有 这一个默认的实现。相关的分区策略代码如下： 可以看出 是根据运行子任务的并行度进行分区数的取余写入的。计算公式如下。 2. null 当我们代码指定分区策略为 时，那么肯定就会选用Kafka 本身默认的分区策略。我
FlinkSql 读取kafka sink到mysql 案例
追赶者的博客
11-27 1921
public static void main(String[] args) { StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); bsEnv.setStreamTimeCharacteristic(TimeCharacterist...
flink sql 按照指定字段分区写入kafka
05-18
可以通过 Flink SQL 中的 `PARTITION BY` 子句来指定分区字段，然后使用 Flink 的 Kafka Producer 将数据发送到 Kafka 中。下面是一个示例代码： ```java // 创建 Flink Table Environment ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JasonLee实时计算

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值