五、kafka线上问题优化
1.如何防止消息丢失
- 发送方:1)使用同步发送 2)ack配成1或者-1可以防止消息丢失,如果要做到99%把ack设置为all
- 消费方:把自动提交改为手动提交
2.如何防止消息的重复消费
-
1.生产者关闭重试:会造成丢消息(不建议)
-
2.消费者解决幂等性消费问题:
所谓的幂等性:多次访问的结果是一样的。对于rest的请求(get(幂等)、post(非幂等)、put(幂等)、delete(幂等))
解决方法:
- 在数据库中创建联合主键,防止相同的主键 创建出多条记录
- 使用分布式锁,以以为id作为锁,保证只有一条记录能创建成功
3.如何做到顺序消费
- 发送方:保证消息顺序消费,且消息不丢失–使用同步的发送,ack设置成非0的值
- 接收方:主题只能设置一个分区,消费组中只能有一个消费者
- kafka的顺序消费使用场景不多,因为牺牲掉了性能,但是比如rockermq在这有一块专门的功能已设计好。
4 .如何解决消息积压问题
1)消息的消费者的消费速度远赶不上生产者的生产者的生产消息速度,导致kafka中有大量的数据没有被消费。随着没有被消费的数据堆积越多,消费者寻址的性能会越来越差,最后导致整个kafka对外提供的服务的性能很差,从而造成其它服务访问的速度变慢,造成服务雪崩。
2)消息积压的解决方案
-
在这个消费者中,使用多线程,充分利用机器的性能进行消费消息 。
-
通过业务的架构设计,提升业务层面消费的性能。
-
创建多个消费组,多个消费者,部署到其他机器上,一起消费,提高消费者的消费速度
-
创建一个消费者,该消费者在kafka另建一个主题,配上多个分区,多个分区再配上多个消费者。该消费者poll下来的消息,不进行消费,直接转发到新建的主题上。此时,新的主题的多个分区的多个消费者就开始一起消费了。~~不常用
5.延迟队列
- 延迟队列的应用场景:在订单创建成功后如果超过30分钟没有付款,则需要取消订单,此时可用延迟队列来实现。
- kafka中创建相应的主题
- 消费者消费该主题的消息(轮询)
- 消费者消费消息时判断消息的创建时间是否超过30分钟,前提是订单没支付
- 如果是:去数据库中修改订单状态为已取消
- 如果否:记录当前消息的offset,并不再继续消费之后的消息。等待1分钟后,再次向kafka拉取该offset及之后的消息,继续进行判断,以此反复。