kevin的博客

原创 当kafka分区不能再增加的情况下，使用多线程提升kafka消费能力（附源码）

正常情况下，kafka的消费线程数据是分区（patition）一对一，单个patition是kafka并行操作的最小单元，kafka只允许单个partition的数据被一个consumer线程消费，例如我们做20个分区，实际上就对应着20个消费线程，当我们做一些活动的时候，就会有发生消息量猛增，而我们的消费线程有限，处理消息的能力有可能跟不上，导致大量的消息堆积处理不完。这时我们可能就需求要优化，加大处理能力，多数人可能会想到增加分区，分区是可以增加，但是不可能一直无限向上增加，我们这里参用...