【Kafka】Kafka InvalidReceiveException: Invalid receive (size = 369296128 larger than 104857600)

已于 2022-08-02 16:17:06 修改
阅读量7.7k 收藏 3
点赞数
分类专栏： 大数据-kafka 文章标签： kafka java
于 2020-08-06 23:08:19 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/107844037
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在使用Kafka时遇到的InvalidReceiveException错误，该错误提示数据大小超过104857600字节的限制。博主通过调整配置并分析源码发现，问题可能由安全设置（如SASL_SSL）引起，特别是GSSAPI权限校验限制了请求大小为64K。解决方案包括检查服务器和生产者、消费者的SSL配置一致性，并注意网络接收缓冲区的影响。
摘要由CSDN通过智能技术生成

文章目录

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

在这里插入图片描述

1.背景

本地测试kafka写入加密SASL_SSL方式。然后本地启动Kafka

[lcc@lcc ~/soft/kafka/kafka_2.11-1.1.0
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【kafka】kafka 启动报错 InvalidReceiveException: Invalid receive (size = -720899)
九师兄
12-30 3834
1.概述 kafka启动报错InvalidReceiveException: Invalid receive (size = -720899) 参考文章：https://bbs.csdn.net/topics/396594849 尝试修改参数：socket.request.max.bytes=469296128 相似问题请参考：【Kafka】Kafka InvalidReceiveException: Invalid receive (size = 369296128 larger than 104857
Kafka:org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (si
amadeus_liu2的博客
04-23 1194
修改配置socket.request.max.bytes
kafka报错：InvalidReceiveException: Invalid receive (size = 1195725856 larger than 104857600)
记录日常开发过程中遇到的一些问题
09-14 5200
将$KAFKA_HOME/config/server.properties文件中的socket.request.max.bytes值重置为超过数据包大小,然后重新启动kafka服务器。将socket.request.max.bytes翻倍。
kafka:org.apache.kafka.common.network.InvalidReceiveException
最新发布
xy的博客
07-03 1521
背景 今日练习kafka相关操作，但是却爆出了FailedtocreatenewKafkaAdminClient的错误 控制台看不出什么，于是我又看了下docker中kafka的日志 主要是这一行：org.apache.kafka.common.network.InvalidReceiveException:Invalidreceive(size=369295616l...
开发技术-org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = -720899)
JustDI0209的博客
11-17 3858
1、现状： kafka客户端报错---(id: 2147483645 rack: null) dead for group kafka服务端报错---标题 2、方法： 有说是hostname没有匹配上的，但是这边的配置信息是直接写的IP，不存在这个问题。 还有的说是 socket.request.max.bytes 的值太小，需要修改（kafka的配置文件），默认是100M，那么直接修改为200M---209715200 ，然后重启kafka，但是还是报同样的错误。 在排查日志时，发现，ka.
kafka.common.network.nvalidReceiveException: Invalid receive (size = xxx larger than xxx)
u011590297的博客
09-25 7710
最近在 aliyun 服务器 部署kafka 遇到的问题 复现 执行bin/kafka-server-start.sh config/server.properties org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 97307larger than xxx) at org.apache.kafka.common.network.NetworkReceive.read...
Unexpected error from /152.104.220.170; closing connection (org.apache.kafka.common.network.Selector) org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 369296129 larger than 104857600)
05-25
这个错误通常是由于Kafka Broker接收到了超出配置的最大消息大小的消息，导致无法处理。解决这个问题的方法是增加Kafka Broker的`message.max.bytes`属性的值，该属性定义了Kafka Broker可以接收的最大消息大小。您...
汇编集成开发环境
12-17
汇编集成开发环境
三（1）、用kafka遇到的问题
Angular_need的博客
03-13 4129
1、cdh里面加入kafka， 创建topic：kafka-topics --zookeeper node01:2181 --create –replication-factor 1 --partitions 1 --topic from_flume01 producer写入数据：kafka-console-producer --broker-list node01:9092 --topic fr...
kafka内存溢出分析：OutOfMemoryError
Autumn_bell的博客
11-19 6568
线上Kafka问题分析：OutOfMemoryError 前言： 最近在线上遇到个奇怪的问题，具体的情景是：由于客户有相应的需求，我们需要提前在程序中判断Kafka集群是否可用，于是我们使用了Kafka0.11.0.0版本之后提供的KafkaAdminClient，这可以方便的创建一个kafka客户端进行集群的管理操作。 经过： 我们使用listTopics()来获取kafka集群所有的topic，如果能获取到相应数据，则能够说明kafka集群运行正常，代码很简单： package com.wenjie.d
Kafka源码剖析 —— 网络I/O篇 —— 浅析KafkaChannel、NetworkReceive、Send
Anur IjuoKaruKas的博客
08-07 1960
一、SocketChannel和KafkaChannel有什么区别？ 上篇文章说道KafkaSelector在创建一个连接的时候和普通的nioSelector并没有什么不同，它是基于nioSelector的封装。我们知道创建连接的一系列操作都是由Channel去完成，而KafkaChannel实际上就是对它的进一步封装： 　　 　　KafkaChannel不仅封装了SocketChannel...
hive向ES中插入数据量过大时出错：HTTP content length exceeded 104857600 bytes.
ly_521015的博客
03-12 2993
elasticsearch 的版本号：2.4.1 当使用下面命令导入文件（文件大小超过100M）时，以及hive向ES中插入数据量过大时出错： 错误信息： org.jboss.netty.handler.codec.frame.TooLongFrameException: HTTP content length exceeded 104857600 bytes. at org.jboss.nett...
sparkstreaming对接kafka出现的数据积压问题
mn_kw的博客
04-18 2964
kafka数据积压问题 1. 问题描述 生产环境开发了一套sparkstreaming对接kafka，并进行数据处理的程序。刚开始程序运行的很好，kafka集群被人动过之后，重启spark程序时出现如下报警信息： 18/06/20 15:29:21 WARN kafka010.KafkaUtils: overriding enable.auto.commit to false for exec...
kafka启动及启动错误处理
HXiao0805的博客
12-31 3216
kafka下载地址：https://kafka.apachecn.org/downloads.html kafka存放路径 E:\kafka_2.12-1.0.0，cmd到E:\kafka_2.12-1.0.0路径下 启动kafka自带的zookeeper bin\windows\zookeeper-server-start.bat config\zookeeper.properties 启动kafka服务 bin\windows\kafka-server-start.bat con.
java中kafka开发遇到的报错
kang123488的博客
03-10 1134
1.kafka.common.ConsumerRebalanceFailedException在使用高级API过程中，一般出现这个问题是zookeeper.sync.time.ms时间间隔配置过短，不排除有其他原因引起2.KafkaException UnresolvedAddressException 解决：在C:\Windows\System32\drivers\etc\hosts文件中加入i...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值