浅谈大数据里的Kafka （3）生产数据层面的分区策略

1）分区的原因

 （1）为了方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；
 （2）可以提高并发，因为可以以Partition为单位读写（Partition多副本）

2）分区策略
 首先生产者生产数据后需要发送数据，而发送的数据则会封装成ProducerRecord对象，ProducerRecord对象在new的时候可以加入如下参数:

 （1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；

 （2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值；

 （3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后面每次调用在这个整数上自增），将这个值与 topic 可用的 partition 总数取余得到 partition 值，以后的消息如果和这个消息处于同一个batch，则和它是同一个分区，否则会轮询分区。在长时间尺度上尽量保证均衡。