我的大数据之路 -- kafka读取本地数据（python3）

kafka读取本地数据

前提条件，本机可以ping通虚拟机，开启kafka等相关集群
练习文件：

呆滞.txt

---

懵懵的人生 呆滞向前
让微风随我吟唱 伴我流浪
来安慰这颗孤独的心脏
其实我们都一样
焦虑无力就好像滚雪球一样
越滚越大
谁的青春不马乱兵荒
但不同的是
我在祈祷
而你在远方

---

一、安装kafka包

pip3 install kafka
或者
pip3 install kafka-python

二、在pycharm中编写脚本 demo.py

from kafka import KafkaProducer

def main():
    producer=KafkaProducer(bootstrap_servers=['192.168.23.200:9092'])
    with open('E:/呆滞.txt','r',encoding='utf-8')as f :
        for line in f.readlines():
            #print(line.replace('\n',''))
            #创建主题，发送信息，必须为bytes类型和.encode
            producer.send("dull",bytes(line.replace('\n','').encode())) #主题会自动帮你创建
            #等待所有有待处理的消息
            producer.flush()

if __name__ == '__main__':
    main()

三、kafka打开消费者端

bin/kafka-console-consumer.sh --bootstrap-server Slave1:9092 --topic dull --from-beginning

四、运行程序，可看到Salve1端看到信息

参考
https://pypi.org/project/kafka-python/