kafka读取本地数据
前提条件,本机可以ping通虚拟机,开启kafka等相关集群
练习文件:
呆滞.txt
懵懵的人生 呆滞向前
让微风随我吟唱 伴我流浪
来安慰这颗孤独的心脏
其实我们都一样
焦虑无力就好像滚雪球一样
越滚越大
谁的青春不马乱兵荒
但不同的是
我在祈祷
而你在远方
一、安装kafka包
pip3 install kafka
或者
pip3 install kafka-python
二、在pycharm中编写脚本 demo.py
from kafka import KafkaProducer
def main():
producer=KafkaProducer(bootstrap_servers=['192.168.23.200:9092'])
with open('E:/呆滞.txt','r',encoding='utf-8')as f :
for line in f.readlines():
#print(line.replace('\n',''))
#创建主题,发送信息,必须为bytes类型和.encode
producer.send("dull",bytes(line.replace('\n','').encode())) #主题会自动帮你创建
#等待所有有待处理的消息
producer.flush()
if __name__ == '__main__':
main()
三、kafka打开消费者端
bin/kafka-console-consumer.sh --bootstrap-server Slave1:9092 --topic dull --from-beginning
四、运行程序,可看到Salve1端看到信息