SparkStreaming——实例4：窗口操作

窗口函数，window

使用窗口长度和滑动间隔来计算，假设窗口长度为3s，滑动间隔为2s，

每2s窗口滑动一次，旧数据就只剩最后1s的了，丢弃左边的2s数据，

右边进入新的2s的数据，计算此时新的3秒钟的数据。

滑动间隔默认等于批次间隔，如果要设置，滑动间隔必须是窗口间隔的整数倍。

 

 

代码：

使用窗口函数：

import org.apache.spark.{HashPartitioner, SparkConf}

import org.apache.spark.streaming.{Seconds, StreamingContext}

object StreamingWC {

/**

* 实现按批次累加的功能，wordcount

*/

def main(args: Array[String]): Unit = {

// local[2]:至少需要两个线程，一个接收，一个执行

val conf = new SparkConf().setAppName("streamingWC").setMaster("local[2]")

// 批次间隔5s

val ssc = new StreamingContext(conf,Seconds(5))

// 设置检查点

ssc.checkpoint("hdfs://master:9000/ck-20190428")

// 创建DStream

val dStream = ssc.socketTextStream("192.168.32.128", 9999)

// wordcount的map

val tuples = dStream.flatMap(_.split(" ")).map((_,1))

 

//使用窗口函数，批次间隔5s，窗口长度间隔为10s，滑动间隔为10s

val res = tuples.reduceByKeyAndWindow((a:Int,b:Int) => (a+b), Seconds(10), Seconds(10))

 

res.print()

ssc.start()

ssc.awaitTermination()

}

}

 

 

结果：