kafka一些问题

调优(max.request.size)

严重的bug，现象是：

       1.一执行迁移程序，数据库连接就超时。

       2.kafka连接不上，同时查看error.log日志，kafka一直报数据大小超过kafka最大的发送size(kafka max.request.size)。也就是那天根本没有上线成功是失败的。那么我们是怎么处理的呢？

 

下面以yml配置为例：

消费数据：

    properties:

        max.partition.fetch.bytes: 15000000

生产数据：

    properties:

        max.request.size: 15000000

 

总结

整理问题：

        1.熟悉线上环境数据有多大。

        2.认真熟悉kafka的配置文件。同时配置越大并不一定是万能的，需要配置加上代码相互。

补充知识点：

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如