第一步:安装kafka-python
命令:
pip install kafka-python --trusted-host pypi.python.org --trusted-host pypi.org --trusted-host=files.pythonhosted.org
第二步:在kafka的路径下,启动zookeeper
命令:
bin/zookeeper-server-start.sh config/zookeeper.properties
第三步:启动kafka
命令:
bin/kafka-server-start.sh config/server.properties
第四步:建立一个topic
命令:
bin/kafka-topics.sh --create --topic topicname --bootstrap-server localhost:9092
第五步:查看主题数据(这时候是没有数据的,因为我们并没有传入数据)
命令:
bin/kafka-console-consumer.sh --topic topicname --from-beginning --bootstrap-server localhost:9092
第六步:编写python代码(创建生产者,向kafka中传入数据)
第七步:创建flume配置文件
第八步:运行配置文件
命令:
bin/flume-ng agent --conf conf --conf-file example.conf --name agent1
第九步:运行python
命令:
python 文件名
就可以看见第五步那边主题数据里面有输出