Kafka 数据丢失与优化

目录

 

Kafka数据丢失与解决方案

Kafka在什么情况下会丢失数据？

broker发生丢失数据分为下面几类

consumer发生丢失数据分为下面几类

Kafka性能调优

producer需注意

broker需注意

consumer需注意

Kafka中常见的server配置文件可参考：

---

Kafka数据丢失与解决方案

Kafka在什么情况下会丢失数据？

首先Kafka是三层模型，即producer、broker、consumer三层，在一般业务场景下，丢失数据主要发生在broker、consumer层。

broker发生丢失数据分为下面几类

1、假设此时网络负载很高或者IO非常繁忙导致写入失败，且未设置消息重试发送机制并且没有做限速处理，导致超出了网络带宽限速，这个时候数据就会丢失，相应的解决方案就是：Kakfa一定要配置消息的重试机制，并且重试的时间间隔要稍微长一点；

2、假设在一段时间处理过程中有数据落盘了，但是这个时候磁盘坏掉了，那么这批数据固然就丢失了（特殊情况）；

3、因Kafka是批量消息处理，所以如果在处理过程中数据的长度超过限制，会直接抛出异常MessageSizeTooLargeException异常，从而这批数据中的部分数据很可能会丢失，相应的解