kafka单个生产者向具有多个partition的topic写数据（写入分区策略）

最近碰到生产环境现象

一个flink程序单并行度（一个生产者），对应topic为8分区。每个分区都能消费到生产出的数据。

整理知识点如下

生产者写入消息到topic，kafka将依据不同的策略将数据分配到不同的分区中

1.轮询分区策略
2.随机分区策略
3.按key分区分配策略
4.自定义分区策略

1.1 轮询分区策略

默认的策略，也是使用最多的策略，可以最大限度的保证所有消息平均分配到分区里面如果在生产消息时，key为null,则使用轮询算法均衡地分配分区

1.2 随机分区策略

基本废弃，可能会造成数据倾斜。

1.3 按key分区分配策略

按key分配策略，key.hash()% 分区的数量,然后shuffle到对应的分区，有可能会出现数据倾斜，例如：某个key包含了大量的数据，因为key值一样，所有的数据都将分配到一个分区中，造成该分区的消息数量远大于其他的分区

1.4自定义分区策略

乱序问题

使用轮询策略和随机策略，单个分区是有序，但是整个topic的分区数据消费者组中的消费者读起来，就是乱序的了。按key分区策略，只能保证局部有序。
kafka中的消息是全局乱序的，局部partition是有序的，如果我们要实现消息总是有序的，可以将连续的消息放到一个partition。但kafka就失去了分布式的意义。