spark streaming中窗口函数的简单实用windowOpObj

最新推荐文章于 2024-01-04 06:30:00 发布

lv_yishi

最新推荐文章于 2024-01-04 06:30:00 发布

阅读量379

点赞数

分类专栏：大数据之spark一些例子

本文链接：https://blog.csdn.net/lv_yishi/article/details/84069417

版权

大数据之spark一些例子专栏收录该内容

16 篇文章 0 订阅

订阅专栏

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object windowOpObj {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("windowOpObj").setMaster("local[*]")
    //创建
   val ssc= new StreamingContext(conf,Seconds(5))

    //存储不同（之前）批次的RDD数据
    ssc.checkpoint("D:\\数据\\spark")
    //获取数据
    val datream = ssc.socketTextStream("192.168.88.130",8888)
    //调用窗口函数来聚合多个批次的数据,现在的操作基于每一个批次
    val tupls = datream.flatMap(_.split(" ")).map((_,1))
    //设置窗口长度以及滑动时间间隔
    //处理多个批次,2参数是窗口长度，第3个参数是窗口的滑动时间，可以计算指定范围内的批次数据
   val res= tupls.reduceByKeyAndWindow((x:Int,y:Int)=>(x+y),Seconds(15),Seconds(10))
    res.print()
    ssc.start()
    ssc.awaitTermination()
  }
}