kafka如何保证数据不丢失?

真离谱

已于 2023-04-21 15:02:59 修改

阅读量2.5k

点赞数 11

文章标签： kafka 分布式 java 大数据

于 2023-04-21 15:02:49 首次发布

本文链接：https://blog.csdn.net/sis12e/article/details/130288868

版权

文章讲述了Kafka生产者数据生产的同步和异步模式，重点介绍了异步模式中的acks配置选项，以及Broker端的备份策略以确保数据不丢失。同时，提到了消费者侧如何通过手动提交偏移量来保证消息处理的确认。

摘要由CSDN通过智能技术生成

1.生产者

生产者生产数据有两种模式：一种是同步模式，一种是异步模式。

同步模式：生产者生产一条数据，就保存一条数据，保存成功后，再生产下一条数据，能够保证数据不丢失，但是效率太低了。

异步模式（采用ack机制）：

 Properties properties = new Properties();
         properties.put("bootstrap.servers", "kafka01:9092,kafka02:9092");
         properties.put("acks", "all");
         properties.put("retries", 0);
         properties.put("batch.size", 16384);
         properties.put("linger.ms", 1);
         properties.put("buffer.memory", 33554432);
         properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
         KafkaProducer<String, String> kafkaProducer = new KafkaProducer<String, String>(properties);
         for (int i = 1; i <= 600; i++) {
             kafkaProducer.send(new ProducerRecord<String, String>("z_test_20190430", "testkafka0613"+i));
             System.out.println("testkafka"+i);
         }
         kafkaProducer.close();

在producer端开启一块buff缓冲,用来缓存数据,缓存一批数据,保存到partition当中.

0:生产者生产数据,不管leader是否保存成功,follower是否同步成功,继续发送下一批数据

1:生产者生产数据,只保证leader保存成功,不管follower是否同步成功,继续发送下一批数据.

-1或者all:生产者生产数据,既要保证leader保存成功,也要保证follower同步成功,继续发送下一批数据.

2.broker端

在Broker端，可以给Topic配置更大的备份因子replication-factors。配置了备份因子后，Kafka会给每个Partition分配多个备份Partition。这些Partiton会尽量平均的分配到多个Broker上。并且，在这些Partiton中，会选举产生Leader Partition和Follower Partition。这样，当Leader Partition发生故障时，其他Follower Partition上还有消息的备份。就可以重新选举产生Leader Partition，继续提供服务。

这样整个集群内的消息不会丢失。