kafka基础知识

一 kafka 消息队列

生产消息——消息队列——消费消息
Kafka 是一个分布式消息队列。
Kafka 对消息保存时根据 Topic 主题(集合)进行归类，发送消息者称为 Producer (生产者/数据源)，消息接受者称为Consumer(消费者)，此外 kafka 集群有多个 kafka 实例组成，每个实例(server) 称为 broker。
kafka 集群依赖于 zookeeper 集群保存一些 meta 信息，来保证系统可用性。
1- producer ：消息生产者，就是向 kafka broker 发消息的客户端。
2- consumer ：消息消费者，向 kafka broker 获取消息的客户端。
3- topic ：可以理解为一个队列。
4- Consumer Group （CG）：这是 kafka 用来实现一个 topic 消息的广播(发给所有的consumer)和单播(发给任意一个consumer)的手段。一个 topic 可以有多个 CG。topic 的消息会复制(不是真的复制，是概念上的)到所有的 CG，但每个 partion 只会把消息发给该 CG 中的一个 consumer。如果需要实现广播，只要每个consumer 有一个独立的 CG 就可以了。要实现单播只要所有的 consumer 在同一个 CG。用 CG 还可以将 consumer 进行自由的分组而不需要多次发送消息到不同的 topic。
5- broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。
6- partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker(即服务器)上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。partition 中的每条消息都会被分配一个有序的 id(offset)。kafka 只保证按一个 partition 中的顺序将消息发给 consumer，不保证一个 topic 的整体(多个 partition 间)的顺序。
7- offset：kafka 的存储文件都是按照 offset.kafka 来命名，用 offset 做名字的好处是方便查找。例如你想找位于 2049 的位置，只要找到 2048.kafka 的文件即可。当然 the first offset 就是 00000000000.kafka。

二 kafka 指令

1- 启动kafka

[master@master kafka2.11]$ bin/kafka-server-start.sh config/server.prooerties

2- 停止kafka

[master@master kafka2.11]$ bin/kafka-server-stop.sh stop

3- 创建 topic

[master@master kafka2.11]$ bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 1 --partitions 1 --topic emp
[master@master kafka2.11]$ bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 2 --topic emp2

emp2 为多分区 topic
–topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数

4- 查看当前服务器中的所有topic

[master@master kafka2.11]$ bin/kafka-topics.sh --zookeeper master:2181 --list

5- 查看某个 topic 详情

[master@master kafka2.11]$ bin/kafka-topics.sh --zookeeper master:2181 --describe --topic emp

6- 删除 topic

[master@master kafka2.11]$ bin/kafka-topics.sh --zookeeper master:2181 --delete --topic emp

7- 启动生产者发送消息

[master@master kafka2.11]$ bin/kafka-console-producer.sh --broker-list master:9092 --topic emp
>hello
>

8- 启动消费者消费消息

[master@master kafka2.11]$ bin/kafka-console-consumer.sh --zookeeper master:2181 --topic emp
hello

9- 设置同组

[master@master ~]$ cd modules/kafka2.11/config
[master@master config]$ vi consumer.properties

修改: group.id = 任意组名

开启同组消费者

[master@master kafka2.11]$ bin/kafka-console-consumer.sh --zookeeper master:2181 --topic emp2 --consumer.config config/consumer.properties

生产者发送的一条数据，同组中只有一个消费者能接收，而不是所有消费者全部接收