kafka单条消息过大导致生产者程序发送到broker失败

最新推荐文章于 2024-06-14 16:25:32 发布
最新推荐文章于 2024-06-14 16:25:32 发布
阅读量2.9w 收藏 19
点赞数 3
分类专栏： Kafka 文章标签： 内存 异常 kafka producer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanjibing1990/article/details/51673540
版权

         今天碰到一个问题，kafka生产者罢工停止生产了，而且生产者的内存急剧升高，导致程序几次重启。查看日志，才发现生产者程序爆出异常kafka.common.MessageSizeTooLargeException。

         查看kafka配置，默认单条消息最大为1M，当单条消息长度超过1M时，就会出现发送到broker失败，从而导致消息在producer的队列中一直累积，直到撑爆生产者的内存。

于是赶紧修改kafka配置，解决问题。主要修改步骤如下：

         1.修改kafka的broker配置：message.max.bytes（默认:1000000B），这个参数表示单条消息的最大长度。在使用kafka

最低0.47元/天 解锁文章
hanjibing1990
关注
  • 3
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【kafka】Kafka consumer处理大消息数据过大导致消费停止问题
九师兄
07-18 3304
1.概述 转载：https://www.cnblogs.com/wynjauu/articles/9409686.html 昨天线上发现一个现象：kafka一个topic有数据生产，但是没有消费了，各种排查es集群、内存使用情况等都正常，但是就是消费线程死了一样，重启jboss也没有用，最后发现是因为消费该topic的kafka八的partition因为遇到了大数据超过1M而都被堵塞（我们是四台机器每个机器两个partation消费）。 下面是网上看到到一个解释博客： 2.案例分析 处理kafka con.
Kafka发送超过broker限定大小的消息时Client和Broker端各自会有什么异常？
热门推荐
朱小厮的博客
03-07 1万+
前几天遇到一个bug，查看发送日志发现java.io.IOException: Broken pipe的错误，通过深入了解发现当kafka producer发送的消息体大于Broker配置的默认值时就会报这个异常。如果仅发送一次是不会报这个异常的，要连续发送才会报这个异常。 本博文记录一下当Kafka发送超过broker限定大小的消息时Client和Broker端各自会有什么异常。 Kafka...
code=MSG_SIZE_TOO_LARGE,val=10,str=“Unable to prod uce message: Broker: Message size too large“
墨痕诉清风的博客
02-27 593
batch.size最好比服务端实际生效的配置小一些，否则在笔者所在的版本会遇到报错，客户端进行重试发送造成很大的消息发送量。这个重试是可以避免发生的。
消费者消费数据时报错：INVALID_REPLICATION_FACTOR
最新发布
xzt2012的专栏
06-14 471
今天早上突然想到查看一下kafka的状态，反复用jps查看，发现kafka的1号机已经启动，其余俩个服务器，kafka都没有启动，于是就去查kafka的配置文件server.properties，发现自己犯了一个大错，三台服务器的broker.id都是一样的，555~~~今天部署了kafka集群，三台服务器，启动后，生产者发送数据，消费者接收数据的时候报错，INVALID_REPLICATION_FACTOR。
kafka消息发送大小限制 python confluent_kafka客户端
Labiod的博客
05-31 585
kafka消息发送大小限制 python confluent_kafka客户端。kafka的broker限制调整过后，发送图片base64编码，出现下面的问题。
librdkafka问题小记
cjf_wei的博客
04-02 8956
librdkafka问题小纪本文介绍在使用kafka的C++客户端librdkafka时遇到的一些问题及解决方法。1.生产者消息尺寸太大；2.生产者没有定期回调poll()方法
Kafka生产者报错MESSAGE_TOO_LARGE
码灵的博客
01-25 4070
问题：kafka发送接收消息默认大小是1M，如果数据超过1M就会报错MESSAGE_TOO_LARGE。 解决方案： 1 修改kafka 安装路基config目录修改server.properties文件；修改后重启kafka #单位B message.max.bytes=1024000000 查看日志是否修改成功 cat server.log.*|grep message.max.bytes bash-4.4# cat server.log.*|grep message.max.b.
Kafka 生产者解析.doc
07-13
Kafka 生产者是数据发布到Kafka集群的关键组件，它的功能在于将应用程序产生的消息转换为Kafka可理解的格式并发送到合适的主题（topic）。本文将深入解析Kafka生产者的内部机制，包括消息发送流程、必要的参数配置...
Kafka简介及使用PHP处理Kafka消息
08-15
4. Producers：消息和数据生产者，向 Kafka 的一个 topic 发布消息的过程叫做 producers。 5. Consumers：消息和数据消费者，订阅 topics 并处理其发布的消息的过程叫做 consumers。 6. Broker：缓存代理，Kafka ...
Kafka利用Java实现数据的生产和消费实例教程
08-28
在开发Kafka程序时，我们需要考虑的是我们是生产者还是消费者，也就是消息的发送者还是接受者。在本篇中，我们将开发一个Kafka Producer和Consumer的程序。这里用的开发语言是Java，构建工具Maven。Maven的依赖包括...
浅谈分布式消息技术：Kafka.docx
08-20
其中，at most once可能导致消息丢失，而at least once可能会导致消息重复，exactly once在Kafka中并非严格实现，但通常"at-least-once"已能满足多数业务需求。 Kafka的消息存储格式以Topic和Partition为基础，每个...
kafka-module:kafka 相关的程序
06-19
- **生产者（Producer）**：负责向 Kafka 集群发布消息的应用程序。 - **消费者（Consumer）**：从 Kafka 集群中订阅和消费消息的应用程序。 - **消费组（Consumer Group）**：一组消费者，它们共同消费一个主题...
发送kafka报错：buffered messsge send to kafka err：Message size TooLarge
battybaby的博客
09-30 1801
程序报错如下： 解决方案： 调整kafka对单条消息的大小限制：message.max.bytes从默认1M调整为10M，10M是cdh建议的最大值了，调整过大会影响kafka的吞吐量,同时需要调整replica.fetch.max.bytes的值需要大于等于message.max.bytes，该参数为broker同步的消息大小限制，如果小于message.max.bytes可能会出现broker接收消息但是主副本无法同步从而造成数据丢失。（我们用着的cdh的管理在界面可以调整整个集群的默认参数，如
filebeat报错dropping too large message of size
weixin_45112997的博客
11-27 617
filebeat报错dropping too large message of size
kafka单条消息太大引起的线上故障
ab342173024的博客
03-23 4061
问题现象 1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下 org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured wit
kafka消息体过大导致生产者无法发送
weixin_37000280的博客
09-24 5425
kafka生产者生产消息时报错，消息体过大无法发送 项目场景： 项目中通过binlog+canal+kafka的方式进行数据同步业务，由于rds中会实时的更新线下监控设备的状态信息，所以binlog产生的日志信息相对来说较大 问题描述： 在通过canal将解析后的binlog日志发送到kafka的时候，kafka中对应的topic中一直没有看到有消息发送过来，查看canal日志后，发现如下报错： Caused by: org.apache.kafka.common.errors.RecordTooLa
kafka 解决大消息发送和接收报错问题
Master_Shifu_的博客
01-21 8589
kafka消息超过一定大小会报错如下: The message is 2044510 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration. 配置以下配置设置最大上传大小解决: kafka: bootstrap-servers: xxx #生产者 producer:
PHP连接rabbitMq报错：File:E:\\shop\\vendor\\php-amqplib...server(10060)由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败
夏已微凉、
06-26 646
用PHP代码连接rabbitMq，报错如下：`File:E:\\phpCode\\shop\\vendor\\php-amqplib\\php-amqplib\\PhpAmqpLib\\Wire\\IO\\StreamIO.php Line(115) Error Connecting to server(10060): 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。\r\n`...
kafka 生产者发送消息
08-06
Kafka生产者可以通过以下步骤发送消息： 1. 创建Kafka生产者实例：首先，你需要创建一个Kafka生产者的实例。在CSDN开发的C知道中，你可以使用它提供的Kafka客户端库来创建一个生产者实例。 2. 配置生产者属性：在创建生产者实例之后，你需要配置一些属性，例如指定Kafka集群的地址、序列化器等。这些配置属性可以根据你的需求进行调整。 3. 创建消息并发送：使用生产者实例，你可以创建一个消息对象并发送到指定的主题。消息可以包含键和值，键用于分区消息，值是实际的消息内容。 4. 异步发送或同步发送：你可以选择将消息异步发送或同步发送。异步发送不会阻塞主线程，而同步发送会等待Kafka服务器的确认。 下面是一个简单的示例代码，展示了如何使用CSDN开发的C知道中的Kafka客户端库发送消息： ```python from kafka import KafkaProducer # 创建Kafka生产者实例 producer = KafkaProducer(bootstrap_servers='localhost:9092') # 创建消息 message = b'Hello, Kafka!' # 发送消息到指定主题 producer.send('my_topic', value=message) # 关闭生产者 producer.close() ``` 请注意，上述示例中的地址和主题名称是示意性的，你需要根据实际情况进行调整。另外，你可能还需要处理错误、添加序列化器等其他操作来完善你的Kafka生产者发送消息的过程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值