一、安装kafka
官网安装kafka http://kafka.apache.org/downloads (安装2.8版本的,其他版本可能会出现各种问题。。。)
二、配置
下载后新建kafka文件夹,解压压缩包到当前文件夹,新建data和kafka-logs文件夹,作为kafka快照和日志的存储文件夹。
进入到config目录,修改service.properties里面log.dirs路径未log.dirs=D:\kafka\kafka_2.12-3.0.0\kafka-logs 注意:文件夹分割符一定要是”\”
修改zookeeper.properties里面dataDir路径为dataDir=D:\kafka\kafka_2.12-3.0.0\data
启动kafka内置的zookeeper .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties 不关闭页面!!!
启动kafka .\bin\windows\kafka-server-start.bat .\config\server.properties 不关闭页面!!!
创建topic测试主题kafka,成功不关闭页面 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
创建生产者产生消息,不关闭页面 .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
创建消费者接收消息,不关闭页面 .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
三、用代码实现生产者、消费者
生产者
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers=['localhost:9092'])
for i in range(10):
producer.send("test", "Hello {}".format(i).encode("utf-8"))
producer.close()
消费者
from kafka import KafkaConsumer
consumer = KafkaConsumer("test", bootstrap_servers=["localhost:9092"])
for msg in consumer:
print(msg)