名称 | 解释 |
Borker | 消息中间件处理节点,一个kafaka节点就是一个broker,一个或者多个broker可以组成一个kafaka集群 |
Topic | kafaka根据topic对消息进行归类,发布到kafaka集群的每条消息都要指定一个topic |
Producer | 消息生成者,向broker发送消息的客户端 |
Consumer | 消息消费者,向borker读取消息的客户端 |
ConsumerGroup | 每个消费者属于一个特定的消费者集群,一条消息可以被多个不同的消息集群消费,但是一个消费集群中只能有一个消费者能够消费该信息 |
Partition | 物理上的概念,一个topic可以氛围多个partition,每个partition内部消息都是有序的 |
服务端(borekers)和客户端(producer、consumer)之间通信通过TCP协议来完成。
一、windows环境下安装kafaka
window下安装kafaka (参考文章)
可以在config中修改zookeeper.properties和server.properties文件中的配置信息
启动步骤:
1.启动zookeeper:
命令:bin\windows\zookeeper-server-start.bat config\zookeeper.properties
2.启动kafaka
命令:bin\windows\kafka-server-start.bat config\server.properties
创建topic (topic=test)
命令:
bin\windows\kafka-topics.bat --create --bootstrap-server [IP]:[Port]--replication-factor 1 --partitions 1 --topic test
查看创建的topic
命令:bin\windows\kafka-topics.bat --list --bootstrap-server [IP]:[Port]
启动生产者
bin\windows\kafka-console-producer.bat --broker-list [IP]:[Port] --topic test
并产生hello kafaka的消息
启动消费者
从头开始消费:bin\windows\kafka-console-consumer.bat --bootstrap-server [IP]:[Port] --topic test --from-beginning
从最后一条消息的偏移量+1开始消费:bin\windows\kafka-console-consumer.bat --bootstrap-server [IP]:[Port] --topic test