名词解释:
broker: 一个kafka启动后,就是一个broker,生产者和消费者都和broker通信;
topic: 主题,生产者发消息需要指定某个主题,消费者拉取消息的时候也需要指定某个主题;
partition: 分区,一个主题分为多个分区,producer可以指定往特定主题的特定分区发消息,同一个topic分区同时只能被一个consumer group的某个consumer消费;
producer: 消息发送者
consumer: 消息消费者
consumer group: 消费者组,比如有个消费者组g1,有一个消费者c1 ,一个topic:test ,它有三个分区p1,p2,p3 ;test这个topic只会被g1这个消费者组中的消费者消费一次;c1会分别串行消费分区p1,p2,p3(同一个分区的消息会被顺序消费,因为一个分区同时只会有一个consumer在消费),为了提高消费速度,我们新建了两个消费者c2,c3,然后加入到;消费者组g1中,这是三个消费者c1,c2,c3就可以并行消费分区p1,p2,p3了;如果你想增加一个消费者,消费topic:test所有的消息,只需要新建消费者组g2,消费者c4,c4加入到g2中。
1.broker 配置
broker.id=0 broker标识符,集群模式下这个值不能重复
num.network.threads=3 kafka处理网络连接的线程数