flink sql写kafka中的分区匹配规则

已于 2022-08-04 10:33:52 修改
阅读量871 收藏
点赞数
分类专栏： Flink kafka 文章标签： kafka flink sql
于 2022-06-13 17:07:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41565000/article/details/125263627
版权

flink sql sink 到kafka中的分区匹配规则

  • ‘sink.partitioner’ = ‘round-robin’,–flink分区轮询被分配到kafka分区中
  • ‘sink.partitioner’ = ‘fixed’, --每个flink分区最多分配到一个kafka分区中

使用fixed注意事项：当sink的并发度低于topic的partition个数时，一个sink task写一个partition
会导致部分partition完全没有数据，当topic新增partition时，需要重启作业，
以便于发现新的partition

三暮辰
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink实战系列】Flink SQL 写入 kafka 自定义分区策略(sink.partitioner)
JasonLee实时计算
03-27 3875
Flink SQL 写入 kafka 自定义分区策略 当用 Flink SQL 写入 kafka 的时候如何指定分区策略呢？其实 Flink SQL 本身是提供有 sink.partitioner 参数的，详细可以查看官网 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/kafka/#sink-partitioner sink.partitioner optional ‘default’
flume+kafka+flink+mysql数据统计
04-20
本文将深入探讨这些技术及其在"flume+kafka+flink+mysql数据统计"中的应用。 首先，Flume 是 Apache Hadoop 的一个子项目，主要用于收集、聚合和移动大量日志数据。在本场景中，Flume 可以从 Nginx 服务器收集 Web ...
Flink SQL FileSystem Connector分区提交与自定义小文件合并策略
LittleMagic's Blog
08-04 3503
Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQL的FileSystem Connector为了与Flink-Hive集成的大环境适配，做了很多改进，而其中最为明显的就是分区提交（partition commit）机制。本文先通过源码简单过一下分区提交机制的两个要素——即触发（trigger）和策略（policy）的实现，然后用合并...
Flink KafkaSink分区配置的不同版本对比
最新发布
qq_36382892的博客
04-18 1046
总结：根据Flink 官方文档提供的信息，可见Flink不同版本在处理写Kafka分区的默认配置是有区别的： 1. Flink版本 >=1.12： - 默认情况下，Flink使用Kafka默认分区器来对消息进行分区。 也就是 kafka 的粘性分区策略 2. Flink版本
flinkSQL数据写kafka多分区
weixin_42868529的博客
10-13 1873
1、背景 FlinkSQL数据写kafka，如果不设置并行度，默认是1。 但是由于数据量和下游消费者的需求，需要往多个kafka分区写数据，提高并发，在这个情况下，需要保证同一个主键的数据发往同一个partition，flinkSQL已经支持这个功能，接下来我们实现一下 2、实现（python代码） 只需要两步： 1⃣️初始化：初始化加上flink并行的配置table_env.get_config().get_configuration().set_string(“parallelism.default”,
FlinkSQL sink 到 kafka 中的分区分配规则
ChengYanan的博客
08-19 3333
场景 直接用 FlinkSQL 实现消费kafka中的数据,并经过一系列转换后sink到kafka另一个topic中。 INSERT INTO kafka_sink_table SELECT xxx FROM kafka_source_table Flink SQL的kafka connector里有一个参数sink.partitioner 1，如下： 固定:每个Flink分区结束在最多一个Kafka分区。 循环:一个Flink分区被分配到Kafka分区循环。 自定义FlinkKafkaPartiti
flinksql把的userid写到指定的kafka分区
wppwpp1的专栏
02-23 498
1、生产上flinksql经常用到根据指定的userid划分到同一个task任务里进行调度，这时候可以使用group by user_id,解决相同userid分到同一个task处理，但是sink到结果表比如kafka或者sls等mq的消息队列时，如果不指定分区规则，则可能同一个userid也会分到不通partition，这时候就需要指定sink的策略。 ...
flink之kafka数据源之topic的分区和topic发现
weixin_51473488的博客
03-01 2260
flink之kafka数据源之topic的分区和topic发现设置 情景一:kafka因为后台数据增多,重新新增加分区,这时候需要在kafka中设置flink.partitions-discovery.interval-millis(设置时间为多少毫秒后天自动启动一个线程校验是否有新增分区) 情景二: 由于业务增多,需要新增一个topic,这时候需要设置kafka 匹配topic的名称的时候采用正则表达式 ...
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
标题中的"Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql"是一个典型的实时数据处理场景，涉及到大数据技术栈中的三个关键组件：Apache Flink、Apache Kafka和MySQL。以下是对这些技术及其在该场景下应用...
flink读取kafka数据.zip
01-04
Flink 的 Kafka 源会自动处理分区分配和故障恢复，确保数据的精确一次处理。 2. **Flink 计算**： Flink 提供丰富的操作符，如 map、filter、reduce、keyBy 和 window，用于对数据流进行各种业务逻辑计算。KeyBy ...
BigDataLearning:Spark、Hadoop、Flink、Storm、Kafka编程实例学习
05-11
Kafka实例会涵盖生产者和消费者的API使用，主题和分区的管理，以及Kafka与Spark、Flink等框架的集成。 这些技术常常结合使用，形成大数据处理的完整解决方案。例如，Hadoop HDFS作为数据存储，Spark或Flink进行数据...
flink 1.14.4 源码下载
04-03
5. ** connectors与格式**：Flink支持各种数据源和接收器，如Kafka、HDFS、RabbitMQ等。1.14.4可能会引入新的连接器或者对现有连接器进行优化，以适应更多场景的需求。 6. **监控和运维**：Flink的监控界面和指标...
Flink常见机制
qq_42009405的博客
02-10 2384
反压机制 Flink在1.5版本之前是基于TCP的流量控制和反压的。 缺点：一个TaskManager执行的一个Task触发反压，该TaskManager和上游TaskManager的Socket就不能传输数据，从而影响到其他Task，也会影响到Barrier的流动，导致作业雪崩。 在1.5版本之后，Flink是基于信用值的流量控制和反压的，接收端会给发送端授予一定信用值，发送端一但接受到信用通知，就会在信用值所允许的范围内尽可能多的向接收端发送数据，且附带上发送端的积压量。接收端会依据发送端的积压量信息
flink kafka sink 默认分区器 FlinkFixedPartitioner 原理与注意
join_null的博客
11-13 2597
FlinkFixedPartitioner源码： package org.apache.flink.streaming.connectors.kafka.partitioner; import org.apache.flink.util.Preconditions; public class FlinkFixedPartitioner<T> extends FlinkKaf...
图文并茂地带你了解kafka分区Rebalance机制
前者已逝，后者未至。
06-10 990
了解kafka分区重平衡的概念，了解分区重新分配的三种策略。
Flink Streaming-Sink
hyunbar的博客
12-29 1674
大数据技术AI Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料 100篇原创内容 ...
【flink sql】kafka连接器
fuyun6363的博客
03-23 2451
R/W 列定义了一个元数据是可读的（R）还是可写的（W）。只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。连接器可以读出消息格式的元数据。格式元数据的配置键以 ‘value.’ 作为前缀。Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。以下的连接器元数据可以在表定义中通过元数据列的形式获取。这篇博客聊聊怎么通过flink sql连接kafka。如果元数据名称和字段名称是一致的，可以省略。
kafka sink partition
weixin_33717117的博客
07-21 126
2019独角兽企业重金招聘Python工程师标准>>> ...
flink sql 分区写入 kafka 阳历
05-18
Flink SQL 分区写入 Kafka 的流程大概如下： 1. 使用 Flink SQL 定义数据源，可以是文件、Kafka 等，这里假设数据源是文件。 2. 使用 Flink SQL 进行数据转换和处理，例如过滤、聚合、排序等。 3. 使用 Flink SQL 定义要写入 Kafka 的目标表，包括表结构和分区键等。例如： ```sql CREATE TABLE kafka_sink ( id INT, name STRING, event_time TIMESTAMP(3), WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND ) WITH ( 'connector' = 'kafka', 'topic' = 'mytopic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json', 'partitioner' = 'round-robin', 'sink.partition-key' = 'event_time' ) ``` 这里使用 Kafka 作为 Sink，将数据写入到名为 `mytopic` 的 Kafka Topic 中，并使用 `event_time` 字段作为分区键，使用 Round-Robin 分区器将数据均匀地写入 Kafka 的不同分区中。 4. 在 Flink SQL 中将数据写入目标表，例如： ```sql INSERT INTO kafka_sink SELECT id, name, event_time FROM file_source ``` 这里假设数据源是一个名为 `file_source` 的 Flink SQL 表，将其中的数据写入 `kafka_sink` 表中。 需要注意的是，Flink SQL 会根据定义的分区键将数据均匀地分配到不同的 Kafka 分区中，从而实现分区写入。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值