kafka选择分区的原则：

选择分区的原则：

　　1.主题需要多大的吞吐量，是希望每秒写入100kb,还是1GB

　　2.从单个分区读取数据的最大吞吐量，数据写入数据库的速度不会超过每秒50M,所以从一个分区读数据的速度也不要超过50M

　　3.可以估算生产者向单个分区写入数据的吞吐量，生产者的速度一般比消费者快，最高为生产者多估算一些量。

　　4.每个broker包含的分区个数，可用磁盘空间和网络带宽

　　5.若消息按照不同的键来写入分区，那么为已有的主题新增分区就很困难

　　6.单个broker对分区个数是有限制，因为分区越多，占用的内存越多，完成首领的选举需要更长的时间。

使用主题吞吐量除以消费者吞吐量算出分区个数。也就是每秒从主题上写入和读取1GB的数据，并且每个消费者每秒钟可以处理50MB数据。那么至少需要20个分区，这样20个消费者同时读取这些分区，从而达到每秒1GB的数据。

如果不知道以上信息，最好把分区大小限制再25GB以内可以得到比较理想得效果。

 

转载于:https://www.cnblogs.com/huiandong/p/10065508.html