转换操作

DStream转换操作包括
无状态转换操作(只统计当前到达批次，不会记录历史记录)：map flatMap filter repartition reduce count union countByValue reduceByKey join（k，（v，w）） cogroup transform
有状态转换操作(滑动状态转换操作就是有窗口滑动)reduceByKeyAndWindow)()
countByKeyAndWindow()会对新进入窗口的数据进行reduce，离开窗口的数据进行逆操作来减少计算量
#!/usr/bin/env python3

from__future__import print_function
import sys
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
if__name__=“main”:
if len(sys.argv)!=3:
print(“Usage:WindowedNetworkWordCount.py”,file=sys.stderror)
exit(-1)
sc = SparkContext(appName=“PythonStreamingWindowedNetworkWordCount”)
ssc=StreamingContext(sc,10)
ssc.checkpoint(“file:///usr/local/spark/mycode/streaming/socket/checkpoint”)#设置检查点来保存数据防止数据丢失
lines =ssc.socketTextStream(sys.argv[1],int(sys.argv[2]))
counts = lines.flatMap(lambda x:x.split(" ")).map(lambda word: (word,1)).reduceByKeyAndWindow(lambda a,b:a+b,lambda a,b:a-b,30,10)#只对窗口内部分进行统计，a+b是reduce操作，a-b是逆操作，30是窗口大小，10是窗口滑动的时间间隔
#如果没有逆函数，代表着历史的所有窗口数据都要计算，逆函数就是每一次滑动窗口时把离开的剪掉，新进窗口的那些加进来计算
counts.pprint()
ssc.start()
ssc.awaitTermination

#建一个nc数据源终端,就可以敲数据了
cd usr/local/spark/mycode/streaming/socket
nc -lk 9999
#再新建一个流计算终端
cd /usr/local/spark/mycode/streaming/socket
/usr/local/spark/bin/spark-submit
WindowedNetworkWordCount.py