一.kafka部署
1.Kafka下载
Kafka的下载网站在下方(文章中使用kafka_2.12-2.4.0,新版和老版有部分不一样的地方)
下载后解压至根目录。
2.Kafka使用
kafka的运行依赖Zookeeper,还需下载Zookeeper,但Kafka也内置了一个,这里使用内置的Zookeeper。
1启动Zookeeper服务
打开终端,cd至Kafka的目录下或直接在该目录下打开终端
cd C:kafka_2.12-2.4.0
或者
在终端输入以下命令以启动服务
.\bin\windows\kafka-server-start.bat .\config\server.properties
不要关闭终端。,关闭会使Zookeeper服务停止。
2.启动Kafka服务
依照上一步方法再打开一个终端。
输入命令
.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
不要关闭终端。,关闭会使Zookeeper服务停止。启动Zookeeper服务后及时启动Kafka服务。
3.测试Kafka
依照第一步方法再打开一个终端。
输入命令
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test
可以继续输入以下命令查看是否创建成功。
.\bin\windows\kafka-topics.bat --list --zookeper localhost:2181
创建成功可以看到topic_test.
继续输入命令
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 -topic topic_test
这时可以在光标后输入一些内容。
创建第四个窗口,输入命令
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic_test --from-beginning
即可看见你输入的内容。
3.pycharm中使用Kafka
1.安装模块python-kafka
pip install kafka-python