Kafka（10）集群消息的发送和消费

一：集群消息的发送

./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic

实际操作

[root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic
>

二：集群消息的消费（不带消费组）

 ./kafka-console-consumer.sh --bootstrap-server  192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic

实际操作

[root@localhost bin]#  ./kafka-console-consumer.sh --bootstrap-server  192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094 --topic my-replicated-topic

三：集群消息的消费（指定消费组）

./kafka-console-consumer.sh --bootstrap-server  192.168.156.131:9092,192.168.156.131:9093,192.168.156.131:9094  --consumer-property group.id=testGroup1  --topic my-replicated-topic

这个与之前的消费是差不多的，这里便步一一叙述了；

四：分区消费组集群消费者细节

图例解释：

1. 一个topic有四个分区
2. 一个partition最多只能被一个消费组里面的一个消费者消费（单播消息）
3. 图中Kafka集群有两个broker，每个broker中有多个partition。一个partition只能被一个消费组里的某一个消费者消费，从而保证消费顺序。Kafka只在partition的范围内保证消息消费的局部顺序性，不能在同一个topic中的多个partition中保证总的消费顺序性。一个消费者可以消费多个partition。
4. 消费组中消费者的数量不能比一个topic中的partition数量多﹐否则多出来的消费消费不到消息。一个消费者可以消费多个partition。

   多的consumer是可以创建出来的，其有的作用仅仅是：如果其他consumer挂了，可以使用这个新的去替换它

其他：

1. 一个partition只能被一个消费组中的一个消费者消费，目的是为了保证消费的顺序性，但是多个partion的多个消费者消费的总的顺序性是得不到保证的，那怎么做到消费的总顺序性呢?
2. partition的数量决定了消费组中消费者的数量，建议同一个消费组中消费者的数量不要超过partition的数量，否则多的消费者消费不到消息
3. 如果消费者挂了，那么会触发rebalance机制(后面介绍)，会让其他消费者来消费该分区