kafka的key为null时如何存储?

最新推荐文章于 2024-05-07 10:08:19 发布
最新推荐文章于 2024-05-07 10:08:19 发布
阅读量3.7k 收藏 8
点赞数
分类专栏： 大数据云计算 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fa124607857/article/details/104196784
版权

kafka的key为null时如何存储?

我们都知道，kafka producer发送消息的时候，可以指定key，这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，kafka是根据key的hash值与分区数取模来决定数据存储到那个分区，那么当key为null的时候，kafka又是如何存储的呢？可能很多人都会说随机选择一个分区进行存储，但是具体是怎么实现的呢？虽然可以这么说，但是还不够严谨，下面通过kafka的源码来解读下key=null是怎么存储的

 

从上面源码可以看出，当key=null时，kafka是先从缓存中取分区号，然后判断缓存的值是否为空，如果不为空，就将消息存到这个分区，否则重新计算要存储的分区，并将分区号缓存起来，供下次使用。那么这个缓存时间是由什么决定呢，再来看下源码：

 

从上面源码可以看出，kafka定义了一个全局变量，这个变量值是配置参数中的topic.metadata.refresh.interval.ms设置的值，也就是说在这个时间内，key=null的消息都会往缓存起来的这个分区存储，当时缓存过时之后，就会重新计算分区号，将计算结果缓存起来。也就是说在key为null的情况下，Kafka并不是每条消息都随机选择一个Partition；而是每隔topic.metadata.refresh.interval.ms才会随机选择一次！

fa124607857
关注
专栏目录
Flink CDC 与 Kafka 集成：Snapshot 还是 Changelog？Upsert Kafka 还是 Kafka？
Laurence的技术博客
02-05 1409
我们知道，尽管 Flink CDC 可以越过 Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如 Hudi 等）， 但从整体架构上考虑，维护一个 Kafka 集群作为数据接入的统一管道是非常必要的，这会带来很多收益。在 Flink CDC 之前，以 Debezium + Kafka Connect 为代表的技术组合都是将数据库的CDC数据先接入到 Kafka 中，然后再由后续的组件解析和处理。
【Kafka】ERROR Error when sending message to topic topic_lcc with key: null, value: 4 bytes with error
九师兄
08-06 2313
发现所有的分区都是正常的,而且上图我的机器都是好的。这个topic是一个分区，没有副本，然后会导致这个topic只能建立在一台机器上，万一这个建立的机器挂了。然后查了一下，最后发现原来是kafka_node1节点挂了，然后我换个机器就可以了。这说明一个问题，我们往哪里发送数据的时候，这台机器会负责key的生成？在上面的基础上想远程连接，然后设置如下。然后其他的topic都是正常的。然后其他的topic都是正常的。我有3台机器，然后分别是。我有3台机器，然后分别是。然后新建一个topic。
kafka的key为null时如何存储
yizhiniu_xuyw的专栏
10-23 1532
kafka producer发送消息的时候，可以指定key，这个key的作用是为消息选择存储分区，key可以为空，当指定key且不为空的时候，kafka是根据key的hash值与分区数取模来决定数据存储到那个分区，那么当key为null的时候，kafka又是如何存储的呢？可能很多人都会说随机选择一个分区进行存储，但是具体是怎么实现的呢？虽然可以这么说，但是还不够严谨，下面通过kafka的源码来解读下key=null是怎么存储的: 从上面源码可以看出，当key=null时，kafka是先从缓存中取分区号
kafka发送消息Key为null时如何选择分区
紫蝶侠的博客
12-03 3362
分区的原则 通过分析，建议发送消息时轮询指定分区。 我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。 （1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值； （2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值； （3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后 面每次调
【解决】Kafka Exception thrown when sending a message with key=‘null‘ 异常
SummerGao
08-15 2480
问题原因： 如下图，kafka 中配置的是监听域名的方式，但程序里使用的是 ...
Flink cdc写入kafka数据出现null的问题排查与解决
大数据开发实践者
11-19 4961
Flink cdc是目前实时同步binlog数据非常方便的工具，今天业务在消费同步的数据发现其中有很多的null数据，经过排查，总结出以下特点： null数据的出现有一定规律，几乎每个+U(upsert_after)类型的数据前就有一条null数据 数据在出现null前，同步逻辑做过更改，添加了where语句过滤数据，在此前没有过null数据 首先，我需要确定null数据是什么。查询官方文档可以知道在upsert-kafka中，会把-D(delete)类型数据写成null。 但是我已经通过参数去掉了
kafka当key为null时partition分配策略
u011624157的专栏
04-27 1073
以下代码kafka version=0.11.0.2 kafka默认的partitioner在key不为null时,则执行Utils.toPositive(Utils.murmur2(keyBytes)) % numPartitions ,如果key为null,则调用int nextValue = nextValue(topic);生成一个int类型的value,然后Utils.toPositiv...
Flink Checkpoint是否支持Kafka 数据消费状态的维护？
Deepexi_Date的博客
12-23 1248
作者：闻乃松 使用Flink实时消费kafka数据时候，涉及到offset的状态维护，为了保证Flink作业重启或者运行时的Operator级别的失败重试，如果要做到“断点续跑”，需要Flink的Checkpoint的支持。问题是，如果简单的开启Flink的Checkpoint机制，而不需要额外的编码工作，是否能达到目的？为回答该问题，本文首先要研究Flink的Checkpoint的处理机制，然后再看Flink是否支持Kafka的状态存储，于是本文分以下四个部分： Flink Checkpoint 状态快
原来这才是Kafka的“真面目”？
uuqaz的博客
08-31 1648
Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。Kafka 对外使用 Topic 的概念，生产者往 Topic 里写消息，消费者从中读消息。为了做到水平扩展，一个 Topic 实际是由多个 Partition 组成的，遇到瓶颈时，可以通过增加 Partition 的数量来进行横向扩容。单个 Parition 内是保证消息有序。...
深度剖析：Kafka 请求是如何处理的? 看完这篇文章彻底懂了
kafka_zsxq的博客
12-13 403
大家好，我是 华仔, 又跟大家见面了。 最近工作比较忙，外加上在弄公众号迁移开通留言功能, 原创文章已经鸽了一个多月, 让大家久等了。 上一篇作为专题系列的第一篇，我们深度剖析了关于 Kafka 存储架构设计的实现细节，今天开启第二篇，我们来深度剖析下「Kafka Broker 端网络架构和请求处理流程」是如何设计的? 相信使用...
kafka序列化器的配置问题：Invalid value null for configuration key.deserializer: must be non-null.
最新发布
qq_53125172的博客
05-07 808
这个异常表明在创建 KafkaConsumer 对象时，键的反序列化器配置值为 null，但它必须是非 null 的。你需要确保在创建 KafkaConsumer 对象时正确设置了键的反序列化器。通常，你需要在 KafkaConsumer 的配置中设置。注意点：序列化器必须在创建生产者或消费者前初始化，不能为空。属性，指定用于反序列化键的类。kafka配置生产者时，键使用的是序列化器的配置；配置消费者时，使用反序列化器的配置。
kafka的key为null时，如何存储的？
weixin_43806056的博客
12-06 479
http://m.sohu.com/a/161873968_315839
kafka Exception thrown when sending a message with key='null'
热门推荐
百里屠苏之父
11-14 1万+
关于一次部署kafka出现异常（key=’null’）的记录，环境为阿里云服务器 先贴异常： org.springframework.kafka.support.LoggingProducerListener [76] - Exception thrown when sending a message with key=’null’ and payload=’2017-11-14 15:36:53|
kafka消息丢失原因及解决方案
YoungJ_Zhou的博客
07-04 1万+
kafka丢失数据原因及解决方案
Kafka学习笔记（三）—Kafka消息丢失，消费重复
LJJZJ的博客
07-17 1137
一、数据传输事务的定义 最多一次（at most once）：消息不会被重复发送，但是可能丢失 最少一次 （at least once）消息可能会被重复发送，但是不会漏发送 精确一次（exactly once） 不会少发送也不会重复发送，只会发送一次 第三种定义是大家所希望的消息队列的保证，但是，Kafka默认提供的是at least once。同时，Kafka只对已提交的消息做有限度的持久...
Kafka原理之消费者
tzc_xyh的博客
05-14 3461
主题的1号分区，在哪个broker上，就选择这个节点的coordinator作为这个消费者组的老大，消费者组下所有的消费者提交offset的时候，就往这个分区去提交offset。这个只是针对一个topic而言，C0消费者多消费一个分区影响不是很大，但是如果这个消费者组消费多个topic，容易产生数据倾斜。如果没有初始偏移量(消费者第一次消费)或者服务器上不存在当前偏移量(被删除)，如何指定offset进行消费。使用消费者事务，进行精准一次消费，将消费过程和提交offset过程做原子操作绑定。
Kafka踩坑记录
敲代码的小小酥的博客
06-18 568
1.生产者发送消息如果没有key值，要设置成null，不能设置成空字符串，否则会认为空字符串是key值，会把所有消息发送到一个分区上。 2.批量发送消息时，如果没有出发时间限制，也没有出发大小限制，会在最后produce.close时把消息提交。如果没有调用close方法，则消息不会发送，这时，生产者的线程也结束了，则无法再提交消息了。 3.当设置为批量发送消息时，且消息的key为null时或动态变化时，producer的send方法效率会很慢。而消息的key设置为固定值时，send方法效率会很快。 当单独
key为null时Kafka会将消息发送给哪个分区?
chongxungu8275的博客
08-24 402
当你编写kafka Producer时， 会生成KeyedMessage对象。 KeyedMessage<K,V>keyedMessage=newKeyedMessage<>(topicName,key,message) 这里的key值可以为空，在...
kafka error topic as witn key :null 什么错误
07-11
"Kafka error: Topic with key null" 错误通常是由于使用 Kafka 生产者发送消息时，消息的键（key）设置为 null 导致的。 在 Kafka 中，每条消息可以有一个可选的键（key），用于分区（partition）和消息的顺序。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值