介绍
本地运行 kafka,运行生产消费实例。
Kafka 是一个分布式发布-订阅消息系统。Zookeeper 是一个高性能分布式应用协调服务。
他们之间的关系 参考
环境安装
1. 安装 Zookeeper
- 参考配置地址
- 注意 环境变量 配置,配置文件重命名
- 启动方式:Windows 平台直接点击 zkServer.cmd,Linux 平台 ./zkServer.sh start
- Zookeeper 可视化(可选):安装 zk ui,先用 maven 打包,再修改配置文件,再启动
#vim config.cfg
serverPort=9090 # zk ui 对外服务的端口
zkServer=localhost:2181 # zookeeper 的服务端口
sessionTimeout=300000
java -jar target/zkui-2.0-SNAPSHOT-jar-with-dependencies.jar &
2. 安装 Kafka
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.168.2.104:9092 # 对应 kafka 运行的机器的 ip 地址
zookeeper.connect=localhost:2181 # 连接 zookeeper
运行调试
启动 Kafka,Windows 进入 C:\canal\kafka_2.11-2.0.1\bin\windows 目录下,新建窗口
kafka-server-start.bat ../../config/server.properties
新建窗口,新建 topic 为 testDemo 的 Producer,在 Consumer 窗口下可以看到相应的输出
kafka-console-producer.bat --broker-list localhost:9092 --topic testDemo
> 123
新建窗口,新建 Consumer,接收 topic 为 testDemo 的消息,bin\windows 目录下
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic testDemo
查看这个 kafka 服务下所有的 topic
kafka-topics.bat --list --zookeeper 127.0.0.1:2181
本地运行遇到的问题
-
consumer zookeeper is not a recognized option
办法:版本问题,使用 --bootstrap-server 代替 --zookeeper-server