kafka（07）——kafka的数据的不丢失机制

生产者如何保证数据的不丢失

producer有丢数据的可能，但是可以通过配置保证消息的不丢失。
通过kafka的ack机制：
在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到。取值有1 0 -1 。

# 设置发送数据是否需要服务端的反馈,有三个值0,1,-1
# 0: producer不会等待broker发送ack 
# 1: 当leader接收到消息之后发送ack 
# -1: 当所有的follower都同步消息成功后发送ack. 
request.required.acks=1

---

本文来自 Fenggms 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/Fenggms/article/details/82926739?utm_source=copy

同步模式

如果是同步模式：ack机制能够保证数据的不丢失。主要就是设置我们的ack机制为-1或者1就可以避免数据的丢失。
producer.type=sync
request.required.acks=1

异步模式

如果是异步模式：通过buffer来进行控制数据的发送，有两个值来进行控制，时间阈值与消息的数量阈值，如果buffer满了数据还没有发送出去，如果设置的是立即清理模式，风险很大，一定要设置为阻塞模式

producer.type=async 
request.required.acks=1 
queue.buffering.max.ms=5000 
queue.buffering.max.messages=10000 
# -1: 无阻塞超时限制,消息不会被抛弃 
# 0:立即清空队列,消息被抛弃
queue.enqueue.timeout.ms = -1 
batch.num.messages=200

消费者如何保证数据的不丢失

通过offset commit 来保证数据的不丢失，以及数据的不会重复消费。
kafka自己记录了每次消费的offset数值，下次继续消费的时候，接着上次的offset进行消费即可
可以通过手动的提交offset，保证数据的不会丢失。