xfj-mall_kafka相关

基础架构

kafka Brokers（代理人）说明: 可以把这个看成是kafka的服务器，从宏观逻辑上可以看成是生产者把消息push到topic的partition上，并通知brokers，之后消费者订阅（pull）消息，触发broker，broker记录消费者（要消费的主题等相关信息）。

Consumer Group 说明： 可以把整个Consumer Group看做是一个Consumer集群；在kafka通过下面消费命令去启动一个消费者会默认随机分配到一个group中，可通过下方的命令查看生成group；另外在kafka的消费中有个规则：同一个group中只能有一个consumer消费partition，但同一个partition可以被不同group中的consumer消费；所以在一般场景下需要指定你需要消费的group（当然需要根据具体场景来定）

过程

• 生产者定期向主题发送消息。

• Kafka代理存储为该特定主题配置的分区中的所有消息。 它确保消息在分区之间平等共享。
  如果生产者发送两个消息并且有两个分区，Kafka将在第一分区中存储一个消息，在第二分区中存储第二消息。

• 消费者订阅特定主题。

• 一旦消费者订阅主题，Kafka将向消费者提供主题的当前偏移，并且还将偏移保存在Zookeeper系综中。

• 消费者将定期请求Kafka(如100 Ms)新消息。

• 一旦Kafka收到来自生产者的消息，它将这些消息转发给消费者。

• 消费者将收到消息并进行处理。

• 一旦消息被处理，消费者将向Kafka代理发送确认。

• 一旦Kafka收到确认，它将偏移更改为新值，并在Zookeeper中更新它。

• 由于偏移在Zookeeper中维护，消费者可以正确地读取下一封邮件，即使在服务器暴力期间。

• 以上流程将重复，直到消费者停止请求。

• 消费者可以随时回退/跳到所需的主题偏移量，并阅读所有后续消息。

常用命令

• 查看topic列表

kafka-topics.sh --list --zookeeper 192.168.10.150:2181 

• 创建topic

kafka-topics.sh --create --zookeeper 121.36.1.22:2181 --replication-factor 1  --partitions 1 --topic hello-kafka

• 发送消息

kafka-console-producer.sh --broker-list 121.36.1.22:9092 --topic hello-kafka

• 消费消息 --form-beginning 从头开始消费对应的topic中的消息(一般场景不会用这个)

kafka-console-consumer.sh --bootstrap-server 192.168.10.150:9092 --from-beginning --topic hello-kafka

• 查看topic详情

kafka-topics.sh --topic hello-kafka --describe --zookeeper 121.36.1.22:2181

• 查看所有的consumer-group

kafka-consumer-groups.sh --bootstrap-server 192.168.10.150:9092 --list

• 删除topic

kafka-topics.sh --zookeeper 121.36.1.22:2181 --delete --topic hello-kafka