spark streaming python_spark streaming + kafka +python

hadoop集群2.7.1 zookeerper集群 kafka集群：kafka_2.11-0.10.0.0 spark集群：spark-2.0.1-bin-hadoop2.7.tgz 环境搭建可参考我前面几篇文章。不再赘述 三台机器：master，slave1,slave2

二、启动集群环境

1.启动hadoop集群

start-all.sh

2.启动spark集群

start-master.sh

start-slaves.sh

3.启动zookeeper集群

在三台机器下均输入以下命令

zkServer.sh start

4.启动kafka集群

在三台机器下均输入以下命令

kafka-server-start.sh -daemon ../config/server.properties

5.jps查看进程

master:

slave1与slave2一样:

6.创建kafka topic

kafka-topics.sh --create --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --replication-factor 3 --partitions 3 --topic test5

故topic为test3 分区为3个，分别为：0,1,2

可用该命令查看

kafka-topics.sh --describe --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5

三、编程,KafkaWordCount.py

编写spark steaming 代码，读取kafka流数据，并统计词频

spark streaming 从 kafka 接收数据，有两种方法：(1)使用receivers和高层次的API;(2)使用Direct API，低层次的kafkaAPI

这里我采用的是第一中方式，基于receivers的方法

具体两种方式以及编程实例可参考官网

kafka topic 为：test5

partitions： 0,1,2

consumer_group_id: test-consumer-group (在kafka/config/consumer.properties里面查看group.id)

代码(python 实现)：

#-*- coding: UTF-8 -*-

###spark streaming&&kafka

from pyspark importSparkContextfrom pyspark.streaming importStreamingContextfrom pyspark.streaming.kafka importKafkaUtils

sc=SparkContext("local[2]","KafkaWordCount")#处理时间间隔为2s

ssc=StreamingContext(sc,2)

zookeeper="192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181"

#打开一个TCP socket 地址 和 端口号

topic={"test5":0,"test5":1,"test5":2} #要列举出分区

groupid="test-consumer-group"lines=KafkaUtils.createStream(ssc, zookeeper,groupid,topic)

lines1=lines.map(lambda x:x[1]) #注意 取tuple下的第二个即为接收到的kafka流

#对2s内收到的字符串进行分割

words=lines1.flatMap(lambda line:line.split(" "))#映射为（word，1）元祖

pairs=words.map(lambda word:(word,1))

wordcounts=pairs.reduceByKey(lambda x,y:x+y)#输出文件，前缀+自动加日期

wordcounts.saveAsTextFiles("/tmp/kafka")

wordcounts.pprint()#启动spark streaming应用

ssc.start()#等待计算终止

ssc.awaitTermination()

四、运行

1.下载依赖的jars包

注意，应该去官网找对应的jar包，例如

kafka2.01对应

下载spark-streaming-kafka-0-8_2.11.jar 我放在了kafka/lib下

2.启动kafka生产者

kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test5

3.运行KafkaWordCount.py

在master下

运行

spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py

这里有个小技巧，因为终端报的信息很多，有时候，一些错误信息被覆盖掉了，因此，可将终端的输出信息输出到文件中

例如

spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py 2> error.txt

便如查看错误信息

4.生产者端输入流数据

5.result

终端打印：

hdfs上：

hadoop fs -ls /tmp/kafka*

四、下一步

考虑使用direct API,待完成