spark streaming + kafka +python(编程)初探

 
 

  
  
一、环境部署

  
  
hadoop集群2.7.1
zookeerper集群
kafka集群：kafka_2.11-0.10.0.0
spark集群：spark-2.0.1-bin-hadoop2.7.tgz
环境搭建可参考我前面几篇文章。不再赘述
三台机器：master，slave1,slave2

  
  
二、启动集群环境

  
  
1.启动hadoop集群

  
  
start-all.sh
  
  
2.启动spark集群
  
  
start-master.sh
start-slaves.sh
  
  
3.启动zookeeper集群
  
  
在三台机器下均输入以下命令
  
  
zkServer.sh start
  
  
4.启动kafka集群
  
  
在三台机器下均输入以下命令
  
  
kafka-server-start.sh -daemon ../config/server.properties
  
  
5.jps查看进程
  
  
master:
  
  

   
   
   
   

  
  
  
  

slave1与slave2一样:
  
  

   
   
   
   

  
  
  
  
6.创建kafka topic
  
  
kafka-topics.sh --create --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --replication-factor 3 --partitions 3 --topic test5
故topic为test3 分区为3个，分别为：0,1,2
可用该命令查看
  
  
 kafka-topics.sh --describe --zookeeper 192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181 --topic test5
  
  

   
   
   
   

  
  
  
  
三、编程,KafkaWordCount.py
  
  
编写spark steaming 代码，读取kafka流数据，并统计词频
spark streaming 从 kafka 接收数据，有两种方法：(1)使用receivers和高层次的API;(2)使用Direct API，低层次的kafkaAPI
这里我采用的是第一中方式，基于receivers的方法
具体两种方式以及编程实例可参考官网
kafka topic 为：test5
partitions： 0,1,2
consumer_group_id: test-consumer-group (在kafka/config/consumer.properties里面查看group.id)
代码(python 实现)：
  
  
# -*- coding: UTF-8 -*-
 ###spark streaming&&kafka
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils

sc=SparkContext("local[2]","KafkaWordCount")
#处理时间间隔为2s
ssc=StreamingContext(sc,2)
zookeeper="192.168.31.131:2181,192.168.31.132:2181,192.168.31.133:2181"
#打开一个TCP socket 地址 和 端口号
topic={"test5":0,"test5":1,"test5":2} #要列举出分区
groupid="test-consumer-group"

lines = KafkaUtils.createStream(ssc, zookeeper,groupid,topic)
lines1=lines.map(lambda x:x[1]) #注意 取tuple下的第二个即为接收到的kafka流

#对2s内收到的字符串进行分割
words=lines1.flatMap(lambda line:line.split(" "))

#映射为（word，1）元祖
pairs=words.map(lambda word:(word,1))

wordcounts=pairs.reduceByKey(lambda x,y:x+y)

#输出文件，前缀+自动加日期
wordcounts.saveAsTextFiles("/tmp/kafka")

wordcounts.pprint()

#启动spark streaming应用
ssc.start()
#等待计算终止
ssc.awaitTermination()
  
  
四、运行
  
  
1.下载依赖的jars包
  
  
注意，应该去官网找对应的jar包，例如
kafka2.01对应
  
  

   
   
   
   

  
  
  
  

下载spark-streaming-kafka-0-8_2.11.jar 我放在了kafka/lib下
  
  
2.启动kafka生产者
  
  
kafka-console-producer.sh --broker-list 192.168.31.131:9092 --topic test5
  
  
3.运行KafkaWordCount.py
  
  
在master下
运行
  
  
spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py
  
  
这里有个小技巧，因为终端报的信息很多，有时候，一些错误信息被覆盖掉了，因此，可将终端的输出信息输出到文件中
例如
  
  
spark-submit --jars kafka/libs/spark-streaming-kafka-0-8-assembly_2.11-2.0.1.jar KafkaWordCount.py 2> error.txt
  
  
便如查看错误信息
  
  
4.生产者端输入流数据
  
  

   
   
   
   

  
  
  
  
5.result
  
  
终端打印：
  
  

   
   
   
   

  
  
  
  

hdfs上：
  
  
hadoop fs -ls /tmp/kafka*
  
  

   
   
   
   

  
  
  
  

   
   
   
   

  
  
  
  
四、下一步
  
  
考虑使用direct API,待完成
  
  
参考文档
spark streaming kafka整合指南
spark集成kafka总结
 
 

作者：玄月府的小妖在debug
链接：http://www.jianshu.com/p/04f8e78ea656
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。