本系列内容:
- Kafka环境搭建与测试
- Python生产者/消费者测试
- Spark接收Kafka消息处理,然后回传到Kafka
- Flask引入消费者
- WebSocket实时显示
版本:
spark-2.4.3-bin-hadoop2.7.tgz
kafka_2.11-2.1.0.tgz
------------------------第1小节:Kafka环境搭建与测试---------------------------
1.Kafka环境搭建与测试
步骤01:解压kafka
tar -zvxf kafka_2.11-2.1.0.tgz -C /usr/local
步骤02:重命名文件夹
cd /usr/local
mv kafka_2.11-2.1.0 /usr/local/kafka
步骤03:配置broker,修改如下文件:
/usr/local/kafka/config/server.properties
将listeners和advertised.listeners节点修改如下,将localhost配置为IP,因为后面需要在windows上写程序连接broker。
如图所示:
2.测试