kafka+spark streaming代码实例(pyspark+python)

一、系统准备

1.启动zookeeper：bin/zkServer.cmd start

2.启动kafka：bin/kafka-server-start.sh -daemon config/server.properties

3.启动spark：sbin/start-all.sh

数据来源：http://files.grouplens.org/datasets/movielens/ml-100k.zip

 流程：kafka读取user数据集并生产数据流——spark streaming 计算每个职业人数——计算结果存入MySQL

二、kafka读取user数据集并生产数据流，1秒生产1条记录。

先创建topic：

bin/kafka-topics.sh --create --zookeeper 192.168.26.247:2181 --replication-factor2 --partitions 1 --topic txt

验证topic：bin/kafka-topics.sh --list --zookeeper 192.168.26.247:2181