kafka相关问题

1、kafka消息堆积问题

产生背景：
生产者投递消息的速率与消费者消费速率不匹配。
即生产者投递消息的速率>消费者消费的速率，导致我们的消息会堆积在我们的mq服务器中，没有及时的被消费者消费，所以产生消息堆积的问题。
注意
rabbitMQ中消息被消费者消费成功的话，消息会被立即删除。kafka或者rocketMQ消息消费成功，消息不会立马被删除。
解决办法：
1、提高消费者的消费速度，对消费者集群
2、消费者批量形式获取数据，减少网络的传输次数。

2、MQ如何保证消息不丢失：

1、将MQ服务器端的消息持久化到硬盘中
2、生产者，采用ACK模式，确认生产者生产的消息保存到MQ服务器端。
3、MQ服务器端宕机时，将消息记录在第三方redis或者数据库，后期采用定时任务将消息传递到MQ服务器。

3、MQ如何保证消息顺序一致

MQ服务器集群或者MQ采用分区模型架构存放消息，每个分区对于一个消费者消费消息。
解决消息顺序一致性问题：
核心办法：消息一定要投递到同一个MQ，同一个分区模型，最终被同一个消费者消费。
核心方案：设定相同的消息的消息key值，根据相同消息key计算hash存放在同一个分区中。
4、MQ保证消费的幂等性
MQ重试机制，可能会遇到消息的幂等性问题。
解决方案：
1、定义消息的唯一key值，查询redis或者或者数据库该key值是否已经消费过。
2、在数据库中定义唯一索引。防止重复插入。