kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException

最新推荐文章于 2024-06-20 11:30:04 发布
最新推荐文章于 2024-06-20 11:30:04 发布
阅读量5.2k 收藏 2
点赞数 1
分类专栏： 异常处理 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiushaoMr/article/details/104371677
版权

在使用 canal 和kafka处理数据同步时canal日志提示如下异常：


java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept
 

原因是消息过大无法处理

 

第一步：修改 canal/conf/canal.properties配置（我在原有基础上加了一个0，可能需要更合适的数量级）
canal.mq.maxRequestSize = 10485760

第二步：修改kafka/config/producer.properties 

max.request.size=12695150

修改kafka/config/server.properties 

message.max.bytes=12695150

第三步：重启服务

重露成涓滴
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka消费报错：org.apache.kafka.common.errors.WakeupException: null
九师兄
08-20 4473
1. 背景 我在测试类中写一个kafka消费者的线程，大概结构如下 @Test public void startMeteorTask() { thread.run(){ KafkaConsumer<String,String> consumer = new KafkaConsumer<>(pro); } } 然后报错： ...
Kafka报错org.apache.kafka.common.errors.RecordTooLargeException
蜗牛^_^的博客
01-15 4338
Kafka报错： org.apache.kafka.common.errors.RecordTooLargeException: There are some messages at [Partition=Offset]: {testTopic-0=25537140} whose size is larger than the fetch size 1048576 and hence canno...
kafka启动报错：org.apache.kafka.common.errors.CorruptRecordException
最新发布
norma_chai的博客
06-20 164
解决方案：把对应的日志删除之后，重启。
【问题】kafka.common.errors.RecordTooLargeException，kafka.common.MessageSizeTooLargeException
weixin_34392843的博客
08-30 364
1、向Kafka中输入数据，抛异常WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException官网两个参数描述如下：m...
kafka报org.apache.kafka.common.errors.RecordTooLargeException
weixin_33787529的博客
02-08 1万+
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka报错nested exception is org.apache.kafka.common.errors.RecordTooLargeException
热门推荐
qq_38814164的博客
12-25 6万+
【代码】kafka报错nested exception is org.apache.kafka.common.errors.RecordTooLargeException。
kafka中处理超大消息的一些处理
紫蝶侠的博客
07-22 166
kafka中处理超大消息的一些处理
org.apache.kafka.clients.consumer.CommitFailedException
weixin_41608066的博客
12-26 1505
最近遇到一个kafka分区提异常如下： throwable:org.apache.flink.kafka.shaded.org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time b
Can‘t convert value of class [B to class org.apache.kafka.common.serialization.StringSerializer spec
an13654067079的博客
05-19 4843
1 背景 使用spring boot KafkaTemplate 作为生产者消费消息 key 为 string value byte[]数组 2 发生问题代码 ProducerRecord<String,byte[]> record = new ProducerRecord<>(adcode,bytes); ListenableFuture future = kafkaTemplate.send(record); /
Kafka : kafka errors.DisconnectException: null
九师兄
01-20 1万+
文章目录1.美图2.场景12.1 概述3. 源码解析3.1 客户端分析3.2 服务端分析4.场景25.场景35.1 概述 1.美图 2.场景1 2.1 概述 kafka相关问题报错 kafka errors.DisconnectException: null 问题参考 参考：Error sending fetch request (sessionId=1175648978, epoch=189) to node 53: org.apache.kafka.common.errors.Disconnec
kafka单条数据过大时报错
weixin_40341521的博客
07-22 1052
当单条数据过大时kafka报错：The request included a message larger than the max message size the server will accept
双微信，分享发生TransactionTooLargeException 异常，记录
xiaolli的专栏
03-06 2130
前提条件： 1. 开启双应用（设置-》双应用） 2. 安装微信。 复现步骤： 1. 用相机拍一张6M左右的照片并保存到手机。 2. 进入图库，打开这张6M左右的照片后选择分享-》朋友。 实际结果： 2. 界面闪一下后，无法弹出微信账号选择界面。 期望结果： 2. 能够成功弹出微信账号（主号，小号）选择界面。 备注： 1. 5M以内的照片分享时能够成功弹出微信账号（主号，小号）
kafka报错The request included a message larger than the max message size the server will accept
tiyager的博客
10-18 4809
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept. Java客户端调整:MAX_REQUEST_SIZE_CONFIG kafka服务器端调整:message....
kafka发送消息失败，消息过大
H785503444的博客
10-27 4547
报错如下：org.apache.kafka.common.errors.RecordTooLargeException: The message is 46860 bytes when serialized which is larger than the total memory buffer you have configured with the buffer.memory configuration 生产者的bufferMemory（缓冲大小）设置过小原因 ...
springboot使用kafka发送消息，消息过大报错
ab3344556677的博客
10-27 6647
报错信息如下所示： Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1527150 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration. 从日志可以看出，kafka默认一次接收请求消息的最大量为1M,即1048576字节，从这我们
Kafka消息处理系统配置和简单使用
Mr.X的博客
04-21 571
Kafka：Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统...
【已解决】kafka生产消报错 request included a message larger than the max message size the server will accept.
JavaPub
03-12 1436
文章目录问题描述解决方案 问题描述 ERROR Error when sending message to topic xhs-test-topic with key: null, value: 1006615 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.RecordTooLargeException: The reque
kafka 消息过大
zhuchunyan_aijia的博客
11-22 6388
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept. 意思是生产者发送的消息过大，大于broker的配置 查看相关资料后，发现 Broker 端对 Producer 发送过来的消息也有一定的大小限制，这个参数叫 message.max.bytes，这个参数决定了 B..
org.apache.kafka.common.errors.TimeoutException
05-26
org.apache.kafka.common.errors.TimeoutException 是 Kafka 中的一种异常，表示在预期时间内无法完成请求的处理。这通常是因为 Kafka 集群繁忙或网络问题导致的。当 Kafka 客户端向 Kafka 集群发送请求时，如果在指定的超时时间内没有得到响应，则会抛出此异常。为了解决这个问题，可以尝试增加超时时间或者调整 Kafka 集群的配置以提高处理能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值