flink sql写kafka中的分区匹配规则

已于 2022-08-04 10:33:52 修改
阅读量1k 收藏
点赞数
分类专栏： Flink kafka 文章标签： kafka flink sql
于 2022-06-13 17:07:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41565000/article/details/125263627
版权
本文探讨了Flink使用`sink.partitioner`配置如何影响数据流向Kafka的分区，包括轮询('round-robin')和固定('fixed')策略。特别强调了固定策略下并发度与partition数量的关系及重启作业的必要性。
摘要由CSDN通过智能技术生成

flink sql sink 到kafka中的分区匹配规则

  • ‘sink.partitioner’ = ‘round-robin’,–flink分区轮询被分配到kafka分区中
  • ‘sink.partitioner’ = ‘fixed’, --每个flink分区最多分配到一个kafka分区中

使用fixed注意事项：当sink的并发度低于topic的partition个数时，一个sink task写一个partition
会导致部分partition完全没有数据，当topic新增partition时，需要重启作业，
以便于发现新的partition

【Flink实战系列】Flink SQL 写入 kafka 自定义分区策略(sink.partitioner)
JasonLee实时计算
03-27 4056
Flink SQL 写入 kafka 自定义分区策略 当用 Flink SQL 写入 kafka 的时候如何指定分区策略呢？其实 Flink SQL 本身是提供有 sink.partitioner 参数的，详细可以查看官网 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/kafka/#sink-partitioner sink.partitioner optional ‘default’
Flink-SQL实现kafka处理后写入kafka
JustinMars的博客
10-13 2246
基本信息 kafka版本 1.13.2 topic 原始数据topic user_behavior 输出数据topic after_binlog 读取kafka原始数据 CREATE TABLE user_behavior ( id BIGINT, name STRING, flag STRING ) WITH ( 'connector.type' = 'kafka', -- 使用 kafka connector 'co
flinkSQL数据写kafka多分区
weixin_42868529的博客
10-13 2053
1、背景 FlinkSQL数据写kafka，如果不设置并行度，默认是1。 但是由于数据量和下游消费者的需求，需要往多个kafka分区写数据，提高并发，在这个情况下，需要保证同一个主键的数据发往同一个partition，flinkSQL已经支持这个功能，接下来我们实现一下 2、实现（python代码） 只需要两步： 1⃣️初始化：初始化加上flink并行的配置table_env.get_config().get_configuration().set_string(“parallelism.default”,
flinksql写入kafka后进行关联表数据再写入到sink端，flinksql直接关联源表数据写到sink端的对比
qq_41673645的博客
11-01 317
中间经过kafka的数据关联，再写入mysql。源表：将id为1改为2。
Flink SQL FileSystem Connector分区提交与自定义小文件合并策略
LittleMagic's Blog
08-04 3668
Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQL的FileSystem Connector为了与Flink-Hive集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并...
FlinkSQL sink 到 kafka 中的分区分配规则
ChengYanan的博客
08-19 3552
场景 直接用 FlinkSQL 实现消费kafka中的数据,并经过一系列转换后sink到kafka另一个topic中。 INSERT INTO kafka_sink_table SELECT xxx FROM kafka_source_table Flink SQL的kafka connector里有一个参数sink.partitioner 1，如下： 固定:每个Flink分区结束在最多一个Kafka分区。 循环:一个Flink分区被分配到Kafka分区循环。 自定义FlinkKafkaPartiti
flinksql把的userid写到指定的kafka分区
wppwpp1的专栏
02-23 549
1、生产上flinksql经常用到根据指定的userid划分到同一个task任务里进行调度，这时候可以使用group by user_id,解决相同userid分到同一个task处理，但是sink到结果表比如kafka或者sls等mq的消息队列时，如果不指定分区规则，则可能同一个userid也会分到不通partition，这时候就需要指定sink的策略。 ...
flink之kafka数据源之topic的分区和topic发现
weixin_51473488的博客
03-01 2382
flink之kafka数据源之topic的分区和topic发现设置 情景一:kafka因为后台数据增多,重新新增加分区,这时候需要在kafka中设置flink.partitions-discovery.interval-millis(设置时间为多少毫秒后天自动启动一个线程校验是否有新增分区) 情景二: 由于业务增多,需要新增一个topic,这时候需要设置kafka 匹配topic的名称的时候采用正则表达式 ...
Flink-SQL upset-Kafka自定义分区器
qq_39639186的博客
12-13 2680
Flink-SQL upset-Kafka自定义分区器
flink sql + kafka + mysql 如何构建实时数仓
最新发布
JustinMars的博客
11-13 976
Kafka：作为流数据平台，负责接收和传输来自不同源系统（如应用日志、传感器数据、交易系统等）的数据。Flink SQL：使用 Apache Flink 提供的 SQL 引擎进行流式数据处理、转换、聚合和窗口计算等操作。Flink SQL 使得实时数据流的处理变得更简单。MySQL：作为下游持久化存储，存储数据仓库的结构化数据，并支持实时查询和分析。通过 Kafka 实现 ODS、DWD 和 DWS 分层架构，每一层都通过 Kafka 作为数据传输管道，利用 Flink SQL 进行数据处理。
Flink常见机制
qq_42009405的博客
02-10 2444
反压机制 Flink在1.5版本之前是基于TCP的流量控制和反压的。 缺点：一个TaskManager执行的一个Task触发反压，该TaskManager和上游TaskManager的Socket就不能传输数据，从而影响到其他Task，也会影响到Barrier的流动，导致作业雪崩。 在1.5版本之后，Flink是基于信用值的流量控制和反压的，接收端会给发送端授予一定信用值，发送端一但接受到信用通知，就会在信用值所允许的范围内尽可能多的向接收端发送数据，且附带上发送端的积压量。接收端会依据发送端的积压量信息
Flink KafkaSink分区配置的不同版本对比
qq_36382892的博客
04-18 1299
总结：根据Flink 官方文档提供的信息，可见Flink不同版本在处理写Kafka分区的默认配置是有区别的： 1. Flink版本 >=1.12： - 默认情况下，Flink使用Kafka默认分区器来对消息进行分区。 也就是 kafka 的粘性分区策略 2. Flink版本
flink kafka sink 默认分区器 FlinkFixedPartitioner 原理与注意
join_null的博客
11-13 2730
FlinkFixedPartitioner源码： package org.apache.flink.streaming.connectors.kafka.partitioner; import org.apache.flink.util.Preconditions; public class FlinkFixedPartitioner<T> extends FlinkKaf...
Flink- 物理分区、Sink输出
dafsq的博客
03-22 819
Flink- 物理分区、Sink输出
RDD的Transformation（转换算子）
weixin_49063354的博客
09-27 489
RDD的Transformation（转换算子） RDD整体上分为Value类型、双Value类型和Key-Value类型 1 value类型 创建包名：com.xiao_after.value 1.1 map()映射 1）函数签名： def map[U: ClassTag](f: T => U): RDD[U] 2）功能说明：参数 f 是一个函数，它可以接收一个参数。当某个RDD执行map方法时， 会遍历该RDD中的每一个数据项，并依次应用 f 函数，从而产生一个新的RDD。即，这个 新的RDD
图文并茂地带你了解kafka分区Rebalance机制
前者已逝，后者未至。
06-10 1274
了解kafka分区重平衡的概念，了解分区重新分配的三种策略。
Flink Streaming-Sink
hyunbar的博客
12-29 1883
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 100篇原创内容 ...
【flink sql】kafka连接器
fuyun6363的博客
03-23 2812
R/W 列定义了一个元数据是可读的（R）还是可写的（W）。只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。连接器可以读出消息格式的元数据。格式元数据的配置键以 ‘value.’ 作为前缀。Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。以下的连接器元数据可以在表定义中通过元数据列的形式获取。这篇博客聊聊怎么通过flink sql连接kafka。如果元数据名称和字段名称是一致的，可以省略。
kafka sink partition
weixin_33717117的博客
07-21 142
2019独角兽企业重金招聘Python工程师标准>>> ...
flink sql 分区写入 kafka 阳历
05-18
Flink SQL 分区写入 Kafka 的流程大概如下： 1. 使用 Flink SQL 定义数据源，可以是文件、Kafka 等，这里...需要注意的是，Flink SQL 会根据定义的分区键将数据均匀地分配到不同的 Kafka 分区中，从而实现分区写入。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值