kafka单条消息太大引起的线上故障

最新推荐文章于 2024-07-08 20:34:16 发布

ab342173024

最新推荐文章于 2024-07-08 20:34:16 发布

阅读量4.1k

点赞数

分类专栏：线上故障篇文章标签： java

本文链接：https://blog.csdn.net/ab342173024/article/details/123683403

版权

一篇关于Flink任务写入Kafka时因消息过大导致的异常情况，分析了堆栈信息，发现默认配置为1M，而发送消息大小为1.6M。解决方案包括调整Kafka生产者客户端配置为2M，并在服务端进行topic级别及全局配置的修改。经过验证，消息发送成功，同时提到消费者不受影响但可能需要适当调整。

摘要由CSDN通过智能技术生成

问题现象

1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下

org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.
  at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.checkErroneous(FlinkKafkaProducer.java:1218)
  at org.apache.flink.streaming.connectors

最低0.47元/天解锁文章

ab342173024

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
kafka单条消息太大引起的线上故障

问题现象1.收到日志异常报警，一个Flink任务写入kafka消息出现了异常，异常消息如下org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured wit
复制链接

扫一扫

专栏目录