今天碰到一个问题,kafka生产者罢工停止生产了,而且生产者的内存急剧升高,导致程序几次重启。查看日志,才发现生产者程序爆出异常kafka.common.MessageSizeTooLargeException。
查看kafka配置,默认单条消息最大为1M,当单条消息长度超过1M时,就会出现发送到broker失败,从而导致消息在producer的队列中一直累积,直到撑爆生产者的内存。
于是赶紧修改kafka配置,解决问题。主要修改步骤如下:
1.修改kafka的broker配置:message.max.bytes(默认:1000000B),这个参数表示单条消息的最大长度。在使用kafka