最近在开发的过程中用到kafka做消息中间件,在测试高并发的时候,发现了一系列的问题。这两天也明白一点,做出产品跟做好产品是两回事!程序能跑起来跟程序能稳定运行更是两回事!
开发的过程中,只要测试数据能否通,业务逻辑能不能被执行,只需要测试小数据量。但是程序开发完成后,性能测试是另一个工作。
- 第一个问题:kafka生产者数据包丢失
这个原因大多是生产者配置没配好,kafka的通信有接收到数据之后发出的确认接收的信号
acks:
(1)acks=0: 设置为0表示producer不需要等待任何确认收到的信息
(2)acks=1: 至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入
(3)acks=all:leader需要等待所有备份都成功写入日志,这种策略会保证只要有一个备份存活就不会丢失数据
request.required.acks
(1)0: 表示producer从来不等待来自broker的确认信息
(2)1:表示获得leader replica已经接收了数据的确认信息,这个选择时延较小同时确保了server确认接收成功。
(3)-1:producer会获得所有同步replicas都收到数据的确认,同时时延最大
我给出自己的配置,在10000/s并发下,可以保证可靠性
props.put("compression.type", "gzip");