【kafka】控制台默认不能发送大数据 4096 4095 4129

最新推荐文章于 2022-06-17 22:27:01 发布

九师兄

最新推荐文章于 2022-06-17 22:27:01 发布

阅读量383

点赞数

分类专栏：大数据-kafka 文章标签： 1024程序员节 kafka 控制台大消息

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/120731514

版权

402 篇文章 637 订阅 ¥99.90 ¥299.90

订阅专栏

博主九师兄分享了一篇关于Kafka控制台发送大数据遇到的问题，发现消息大小超过4096字节会被截断。通过代码测试可以正常发送和消费，表明控制台可能存在消息大小限制。尝试调整Kafka配置未解决问题，最终确认是控制台生产者的问题，使用Java代码则能成功发送大消息。

摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

1.概述

因为某些原因，需要做一个测试，然后我想往topic中，发送一条消息，然后再消费它。但是消息有点大，一条消息是36K.

消费者

[root@1 kafka]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic xxx.devicealarm | grep 网络攻击

生产者,生产者发送了一个消息消息是一个json，json中有这个数据特征网络攻击

[root@1 kafka]# bin/kafka-console-producer.sh --broker-list 1.kafka1:9092 --topic xxx.devicealarm
这里发送一个36K的数据json

然后在上面的消费者居然没消费到。

然后我用代码测试，发送消息

public static void producer(<

了解本专栏

关注