Kafka
Kafka是由Linkedin公司开发的,它是一个分布式的,支持多分区、多副本,基于ZooKeeper的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。
下载Kafka
下载地址:http://kafka.apache.org/downloads
选择编译过的压缩包,而不是带src的源码包:
下载压缩包后解压:
Kafka安装包中已内置ZooKeeper,可以不进行下载。
进入文件:kafka_2.12-2.8.0\config\zookeeper.properties
修改配置:dataDir=./zookeeper-logs
进入文件:kafka_2.12-2.8.0\config\server.propertie
修改配置:log.dirs=./kafka-logs
简单使用
打开cmd命令启动ZooKeeper:
cd /d D:\Project\Kafka\kafka_2.12-2.8.0
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
不要关闭该窗口,新打开cmd命令启动Kafka:
cd /d D:\Project\Kafka\kafka_2.12-2.8.0
bin\windows\kafka-server-start.bat config\server.properties
创建主题:
bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看创建的主题列表:
bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
创建生产者:
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
创建消费者:
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
此时,往生产者窗口写入消息,消费者窗口也能同步的接收到消息。
在Ubuntu系统简单使用
# 后台启动ZooKeeper和Kafka:
cd /mnt/d/Project/Kafka/kafka_2.12-2.8.0
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
bin/kafka-server-start.sh -daemon config/server.properties
# 关闭ZooKeeper和Kafka:
bin/zookeeper-server-stop.sh
bin/kafka-server-stop.sh
# 创建主题:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
# 查看创建的主题列表:
bin/kafka-topics.sh --list --zookeeper localhost:2181
# 创建生产者:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 创建消费者:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test