本文详细介绍了如何在IntelliJ IDEA中编写Spark Streaming应用，利用reduceByKeyAndWindow函数实现窗口计数功能。通过创建StreamingContext，监听Socket数据，对数据进行flatMap、map操作，然后使用reduceByKeyAndWindow进行窗口聚合，最后打印结果。实验中，窗口大小设为10秒，滑动间隔设为5秒，展示了如何统计每5秒内最近10秒的单词出现次数。
使用idea编写SparkStreaming_reduceByKeyAndWindow
窗口函数:
代码演示:
package cn.itcast.streaming
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}
object WordCount3 {
def main(args: Array[String]): Unit = {
//1.创建StreamingContext
//spark.master should be set as local[n], n > 1
val conf = new SparkConf().setAppName(“wc”).setMaster(“local[*]”)
val sc = new SparkContext(conf)
sc.setLogLevel(“WARN”)
val ssc = new StreamingContext(sc,Seconds(5))//5表示5秒中对数据进行切分形成一个RDD
//2.监听Socket接收数据
//ReceiverInputDStream就是接收到的所有的数据组成的RDD,封装成了DStream,接下来对DStream进行操作就是对RDD进行操作
val dataDStream: ReceiverInputDStream[String]
最低0.47元/天 解锁文章
1182
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
