Spark模拟实现对RDD数据流的处理

最新推荐文章于 2024-01-19 20:09:17 发布

小nove

最新推荐文章于 2024-01-19 20:09:17 发布

阅读量423

点赞数

分类专栏：实例 java

本文链接：https://blog.csdn.net/qq_44698610/article/details/102973368

版权

实例同时被 2 个专栏收录

38 篇文章 0 订阅

订阅专栏

java

6 篇文章 0 订阅

订阅专栏

idea端

模拟了预先将10个（1~10）的数组加入队列流，再进行处理

package phasetest

import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.{Seconds, StreamingContext}


object RddQu {
  def main(args: Array[String]): Unit = {
//    代理对象
    val sparkConf = new SparkConf().setAppName("TestRDDQueue").setMaster("local[2]")
//    StreamingContext资源调度对象
    val ssc = new StreamingContext(sparkConf, Seconds(2))
//    生成rdd队列（规定了消息的类型）
    val rddQueue =new scala.collection.mutable.SynchronizedQueue[RDD[Int]]()
//    将队列放入输入流中，挂接
    val queueStream = ssc.queueStream(rddQueue)
//    处理队列流数据
    val mappedStream = queueStream.map(r => (r % 10, 1))
    val reducedStream = mappedStream.reduceByKey(_ + _)
//    输出到屏幕
    reducedStream.print()
//    开启
    ssc.start()
//    循环发送
    for (i <- 1 to 10){
//      将1-100的数组传入RDD序列（前面规定了消息的类型）
      rddQueue += ssc.sparkContext.makeRDD(1 to 100)
      Thread.sleep(1000)
    }
    ssc.stop()

  }

}