kafka系列4：消息幂等性

1.kafka提供的幂等功能

RabbitMQ中没有对消息重复做处理，而Kafka在Broker上实现了消息的重复性判断。
enable.idempotence设置成true之后，Producer自动升级成为幂等性Producer，Kafka会自动去重。
有两个重要机制：
PID：幂等性的生产者每个客户端都有一个唯一的编号。
sequence number：幂等性的生产者发送的每条消息都会带有相应的sequence number，server端根据这个来判断重复性。
不过由于这个number不是全局有序的，因此不能保证所有时间上的幂等，只能保证单分区单会话上的幂等。

2.生产者事务

通过事务，kafka可以保证跨生产者的消息幂等发送，什么时候需要事务呢？有几种情况：
（1）假设只有1个Broker，1个topic的分区只有1个副本，如果我们要发送多条消息，想要让这些消息全部成功或者失败，怎么办？
（2）如果生产者发送消息到多个topic或者多个partition，它们可能分布在不同的服务器上，我们需要全部发送成功或者全部失败，应该怎么办？
（3）消费者和生产者在同一个代码中，从上游接收消息，经过处理后发给下游，这时候就要保证接收和发送消息同时成功。
使用方法：

        // 初始化事务
        producer.initTransactions();

        try {
            producer.beginTransaction();
            producer.send(new ProducerRecord<String,String>("transaction-test","1","1"));
            producer.send(new ProducerRecord<String,String>("transaction-test","2","2"));
            // Integer i = 1/0;
            producer.send(new ProducerRecord<String,String>("transaction-test","3","3"));
            // 提交事务
            producer.commitTransaction();
        } catch (KafkaException e) {
            // 中止事务
            producer.abortTransaction();
        }

这个是如何实现的呢，看材料和分布式事务的原理差不多，都是基于两阶段提交，后面再整理。