kafka报错which is larger than the maximum request size you have configured with the max.request.......

最新推荐文章于 2023-07-25 16:03:26 发布
最新推荐文章于 2023-07-25 16:03:26 发布
阅读量4.6k 收藏 9
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35885488/article/details/114369906
版权
当发送的Kafka消息超过默认的1MB限制时，会出现错误。本文介绍了如何调整Kafka配置，包括在server.properties、producer.properties和consumer.properties中进行设置，以及详细重启步骤，确保配置生效，从而解决数据拉取问题。
摘要由CSDN通过智能技术生成

一、kafka默认的发送一条消息的大小是1M，如果不配置，当发送的消息大于1M是，就会报错

[2018-07-03 14:49:38,411] ERROR Error when sending message to topic testTopic with key: null, value: 2095476 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.RecordTooLargeException: The message is 2095510 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.
最低0.47元/天 解锁文章
sisi.li8
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
kafka命令行消费kafka-console-consumer.sh 报错 whose size is larger than the fetch size 1048576
qq_32613771的博客
04-12 1835
kafka命令行消费kafka-console-consumer.sh 报错 whose size is larger than the fetch size 1048576 问题 [appuser@node01 kafka-0.10.0]$ bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node0...
Flink 实战 - 9.Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析
BITDDD小栈
09-13 2187
Flink / Kafka 下发消息过大异常分析与 Kafka Producer 源码浅析。
Kafka - which is larger than the maximum request size you have configured with the max.request
牧码的博客
06-13 1164
which is larger than the maximum request size you have configured with the max.request
kafka服务端允许生产者发送最大消息体大小
最新发布
BestEternity的博客
07-25 6326
kafka服务端允许生产者发送最大消息体大小
kafka 解决大消息发送和接收报错问题
Master_Shifu_的博客
01-21 8824
kafka消息超过一定大小会报错如下: The message is 2044510 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration. 配置以下配置设置最大上传大小解决: kafka: bootstrap-servers: xxx #生产者 producer:
kafka消息体过大导致生产者无法发送
weixin_37000280的博客
09-24 5570
kafka生产者生产消息时报错，消息体过大无法发送 项目场景： 项目中通过binlog+canal+kafka的方式进行数据同步业务，由于rds中会实时的更新线下监控设备的状态信息，所以binlog产生的日志信息相对来说较大 问题描述： 在通过canal将解析后的binlog日志发送到kafka的时候，kafka中对应的topic中一直没有看到有消息发送过来，查看canal日志后，发现如下报错： Caused by: org.apache.kafka.common.errors.RecordTooLa
kafka单条消息太大引起的线上故障
ab342173024的博客
03-23 4126
问题现象 1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下 org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured wit
php kafka耗时长,Kafka消息过长详解
weixin_39990660的博客
03-19 547
Kafka发送消息大小问题⚠️ 本文实验的Kafka版本为2.11版本.消息概述kafka中的消息指的就是一条ProducerRecord,里面除了携带发送的数据之外,还包含:topic 发往的Topicpartition 发往的分区headers 头信息key 数据value 数据timestamp-long 时间戳Producer生产消息过长在生产者发送消息的时候,并不是上面所有的信息都算在发...
kafka服务器默认能接收的最大消息是,Kafka收发oversize数据
weixin_32887779的博客
08-06 3857
Kafka 整个消息管道的默认口径是 1M，换句话说，默认 Producer 只能向 Kafka 发送大小不超过 1M 的消息，Kafka 内部也只能处理大小不超过 1M 的消息，Consumer 也只能消费大小不超过 1M 的消息。如果发送 2M(为了方便计算，以下 1M=1000K)大小的数据，client 会报异常1Exception in thread "main" java.util.c...
spring-kafka 设置发送消息的大小
枫夜
11-28 7396
环境 spring boot2 spring cloud spring-kafka kakfa 2.2.0 场景 程序调用spring-kakfa内置的kafkaTemplate进行发送消息，但是消息实体过大，超过默认配置，导致消息发送失败。报错提示如下： The message is 2044510 bytes when serialized which is larger than the...
Error when sending message to topic test with key: null, value: 2 bytes with error: (org.apache.kafk...
weixin_33801856的博客
12-04 1127
windows下使用kafka遇到这个问题: Error when sending message to topic test with key: null, value: 2 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) 百度了下,没找到答案,还是自己看输出台日志...其...
Kafka安装遇到的问题
Baron_ND的博客
03-12 516
安装好后 可以创建topic，也可以查询，但是生产者发送消息的时候失败：Error Error when sending message to topic testTopic with key:null,value:1 bytes with error:(org.apache.kafka.clientsproducer.internals.ErrorLoggingCallback) 有没有考虑是不是你的生产者消费者写的有问题呢 用方案3的测试命令试试 kafka的基本操作： 1.创建topic: .
【Kafka】消息超过最大值限制max.request.size
九师兄
07-03 8875
1.美图 2.背景 2020-04-1614:49:43 [Thread-1104] INFO o.a.k.clients.producer.KafkaProducer H Closing the Kafka producer with timeoutMillis = 9223372036854775807 ms. 2020-04-16 14:49:43 [Thread-1104] ERROR...
kafka命令行producer写数据失败，报错 Error when sending message to topic xxx with key:null
isowang的博客
07-13 1683
报错信息 Error when sending message to topic xxx with key:null 环境 服务器端 server.properties listeners=PLAINTEXT://kafka1:9092 客户端 /etc/hosts中无对应的主机 解决办法 在客户端的/etc/hosts中增加对应的主机映射
如何往 Kafka 发送大消息？
cr7258的博客
06-17 1327
默认情况下，Kafka topic 中每条消息的默认限制为 1MB。这是因为在 Kafka 中，非常大的消息被认为是低效和反模式的。然而，有时候你可能需要往 Kafka 中发送大消息。在本文中我们将研究在 Kafka 中处理大消息的两种方法。 选项 1：使用外部存储 将大消息（例如视频文件）发送到外部存储，在 Kafka 中只保存这些文件的引用，例如文件的 URL。外部存储可以是云存储（例如 Amazon S3），也可以是网络存储（NAS）或者 HDFS 等本地大型文件存储系统。 选项 2：修改 Kafk
Kafka生产调优相关配置参数设置
qq_43224174的博客
05-08 687
包含Kafka保证数据不丢失配置，压缩设置、批次大小设置、每批次消息发送延迟、发送消息缓冲区大小、发送消息每条消息大小设置等。
【Kafka】ERROR Error when sending message to topic topic_lcc with key: null, value: 4 bytes with error
九师兄
08-06 2272
发现所有的分区都是正常的,而且上图我的机器都是好的。这个topic是一个分区，没有副本，然后会导致这个topic只能建立在一台机器上，万一这个建立的机器挂了。然后查了一下，最后发现原来是kafka_node1节点挂了，然后我换个机器就可以了。这说明一个问题，我们往哪里发送数据的时候，这台机器会负责key的生成？在上面的基础上想远程连接，然后设置如下。然后其他的topic都是正常的。然后其他的topic都是正常的。我有3台机器，然后分别是。我有3台机器，然后分别是。然后新建一个topic。
Kafka控制台发送消息报错
lvbinibnsb的博客
08-09 4454
问题如下：问题描述：ERROR Error when sending message to topic helloworld with key: null, value: 15 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.er...
The message is 35423738 bytes when serialized which is larger than the total memory buffer you have configured with the buffer.memory configuration
06-02
这个错误提示意味着你的生产者尝试发送一个大小为35423738字节的消息到Kafka，但是Kafka生产者的缓冲区大小不足以容纳这个消息。解决这个问题的方法有以下几种： 1. 增加缓冲区大小：你可以通过增加Kafka生产者的缓冲区大小来解决这个问题。你可以通过在生产者配置文件中设置`buffer.memory`属性来增加缓冲区大小。例如：`buffer.memory=67108864`（64MB）。 2. 减小消息的大小：如果你无法增加缓冲区大小，可以尝试减小消息的大小。你可以通过拆分消息或者压缩消息来减小消息的大小。另外，你也可以考虑使用Kafka的分区机制，将一个大消息拆分成多个小消息，分别发送到不同的分区中。 3. 调整批量发送的大小：你可以通过调整Kafka生产者的批量发送大小来优化性能。你可以通过在生产者配置文件中设置`batch.size`属性来调整批量发送的大小。例如：`batch.size=16384`。 总之，解决这个问题的关键是要确保Kafka生产者的缓冲区大小足够容纳要发送的消息。你可以通过增加缓冲区大小、减小消息的大小或者调整批量发送的大小来解决这个问题。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sisi.li8

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值