kafka 运维篇 -- 防止消息丢失

个人学习总结：

3次消息传递过程
1）Producer 端发送消息给 Kafka Broker 端。
2）Kafka Broker 将消息进行同步并持久化数据。
3）Consumer 端从 Kafka Broker 将消息拉取并进行消费。

比较正式的描述：

1. producer端使用producer.send(msg, callback)带有回调的send方法。
2. 设置acks = -1。acks是Producer的一个参数，代表“已提交”消息的定义。如果设置成all，则表明所有Broker都要接收到消息，该消息才算是“已提交”。
3. 设置retries为一个较大的值。同样是Producer的参数。当出现网络抖动时，消息发送可能会失败，此时配置了retries的Producer能够自动重试发送消息，尽量避免消息丢失。
4. 设置unclean.leader.election.enable = false。这是Broker端的参数，在kafka版本迭代中社区也多次反复修改过他的默认值，之前比较具有争议。它控制哪些Broker有资格竞选分区的Leader。如果一个Broker落后原先的Leader太多，那么它一旦成为新的Leader，将会导致消息丢失。故一般都要将该参数设置成false。
5. 设置replication.factor >= 3。这也是Broker端的参数。保存多份消息冗余，不多解释了。
6. 设置min.insync.replicas > 1。Broker端参数，控制消息至少要被写入到多少个