Kafka（八）生产者如何提高吞吐量，数据可靠性，数据去重，生产者事务，数据有序/乱序

生产者如何提高吞吐量

 可以从修改批次大小，等待时间，压缩方式，缓冲区大小做改变。

数据可靠性

发送流程

1）ack 应答原理

ACK应答级别

 

数据去重

数据传递语义

幂等性

幂等性原理

如何使用幂等性

         开启参数 enable.idempotence 默认为 true，false 关闭。

生产者事务

Kafka 在 0.11版本引入事务支持，事务可以保证 Kafka 在 Exactly Once 语义的基础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败。

Producer 事务

为了实现跨分区跨会话事务，需要引入一个全局唯一的Transaction ID,并将 Producer 获取的 PID 和 Transaction ID 绑定。这样当 Producer 重启后就可以通过正在进行的 Transaction ID 获取原来的 PID。

为了管理Transaction，Kafka 引入了一个新的组件Transaction Coordinator。Producer 就是通过和 Transaction Coordinator 交互获得 Transaction ID 对应的任务状态。Transaction Coordinator 还负责将事务所有写入 Kafka 的一个内部Topic，这样即使整个服务重启，由于事务状态得到保存，进行中的事务状态可以得到恢复，从而继续进行。

Kafka 事务原理

 Kafka 的事务一共有如下 5 个 API

数据有序/乱序

        kafka 每个 partition 中的消息在写入时都是有序的，消费时， 每个 partition 只能被每一个消费者组中的一个消费者消费，保证了消费时也是有序的。 

        整个 kafka 不保证有序。如果为了保证 kafka 全局有序，那么设置一个生产者，一个分区，一个消费者。