一、系统准备
1.启动zookeeper:bin/zkServer.cmd start
2.启动kafka:bin/kafka-server-start.sh -daemon config/server.properties
3.启动spark:sbin/start-all.sh
数据来源:http://files.grouplens.org/datasets/movielens/ml-100k.zip
流程:kafka读取user数据集并生产数据流——spark streaming 计算每个职业人数——计算结果存入MySQL
二、kafka读取user数据集并生产数据流,1秒生产1条记录。
先创建topic:
bin/kafka-topics.sh --create --zookeeper 192.168.26.247:2181 --replication-factor2 --partitions 1 --topic txt
验证topic:bin/kafka-topics.sh --list --zookeeper 192.168.26.247:2181