通过过滤黑名单案例对SparkStreaming 透彻理解

最新推荐文章于 2021-04-04 00:38:21 发布

xiaonaughty

最新推荐文章于 2021-04-04 00:38:21 发布

阅读量3k

点赞数

分类专栏： SparkStreaming 文章标签： Spark

本文链接：https://blog.csdn.net/xiaonaughty/article/details/51455057

版权

SparkStreaming 专栏收录该内容

6 篇文章 0 订阅

订阅专栏

SparkStreaming是随着流进来数据按照时间为单位生成job，然后触发job在cluster执行的一个流式处理引擎，实质上是加上了时间维度的批处理。DStream是一个RDD的集合，对DStream的操作构成DStream Graph。本文以过滤黑名单为例，进行初步分析。

过渡黑名单代码：

package com.dt.spark.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object OnlineBlackListFilter {
  def main(args: Array[String]) {
    /**
      * 第一步：创建Spark的配置对象，设置Spark程序的运行时的配置信息
      * 例如说通过setMaster来设置程序要连接的spark集群的master的url，如果设置为
      * local， 则代表Spark程序在本地运行，特别适合于机器配置条件非常差
      * （例如只有1g的内存）的初学者
      */
    val conf = new SparkConf() //创建SparkConf对象
    conf.setAppName("OnlineBlackListFilter") //设置Spark应用程序的名称，在程序运行的监控界面可以看到名称
    //    conf.setMaster("local") //此时，程序在本地运行，不需要安装Spark集群
    conf.setMaster("spark://master:7077") //此时，程序在本地运行，不需要安装Spark集群

    val ssc = new StreamingContext(conf, Seconds(300))

    /**
      * 黑名单数据准备，实际上黑名单一般都是动态的，例如在Redis中或者数据库中，黑名单的生成往往有复杂的业务逻辑，
      * 具体情况算法不同，但是在SparkStreaming进行处理的时候每次都能够访问完整的信息
      *
      */
    val blackList = Array(("hadoop", true), ("mahout", true))
    val blackListRDD = ssc.sparkContext.parallelize(blackList, 8)

    val adsClickStream = ssc.socketTextStream("master", 9999)

    /**
      * 此处模拟的广告点击的每条数据的格式为：time、name
      * 此处map操作的结果是name, (time, name)的格式
      */
    val adsClickStreamFormatted = adsClickStream.map(ads =>(ads.split(" ")(1), ads))
    adsClickStreamFormatted.transform(userClickRDD =>{
      //通过leftOuterJoin操作既保留了左侧用户广告点击内容的RDD的所有内容，又获得了相应点击内容是否在黑名单中
      val joinedBlackListRDD = userClickRDD.leftOuterJoin(blackListRDD)
      val validClicked = joinedBlackListRDD.filter(joinedItem => {
        /**
          *进行filter过滤的时候，其输入元素是一个Tuple：（name,((time, name), boolean)）
          * 其中第一个元素是黑名单的名称，第二个元素的第二个元素是进行leftOuterJoin的时候是否存在该值
          * 如果存在的话，表明当前广告点击是黑名单，需要过滤掉，否则的话则是有效点击内容；
          */
        if(joinedItem._2._2.getOrElse(false)){
          false
        } else {
          true
        }
      })
      validClicked.map(validClicked =>{ validClicked._2._1 })
    }).print()
    /**
      * 计算后的有效数据一般都会写入Kafka中，下游的计费系统会从Kafka中pull到有效数据进行计费
      */

    ssc.start()
    ssc.awaitTermination()
  }
}

Job分析：
1. 为了更好的观察SparkStreaming程序数据的注入流出和处理，将BatchInterval设置成一个比较大的值，eg. 5min
2. 将程序打包放到服务器上，执行nc启动999端口：$nc -lk 999，在nc中发送数据，程序收到数据打印出后，中止程序，从history server中观察job：http://master:18080
3. 从UI界面中可以看到有5个job，job0,1都是start，job2,3,4是print，但我们执行代码中只有1个job，即print，可见，SparkStreaming启动的过程中自己会启动一些job
4. 从job id为0到4依次观察各个job以及其中的stages：
1). job0中两个stages，Stage0: makeRDD->map，Stage1:reduceByKey
2). 在job1中有一个stage，stage2: makeRDD，类型为receiver，stage中description：Streaming job running receiver 0，而且运行了1.5min，整个SparkStreaming运行才2min，由此可知，在job1中启动了receiver，receiver一直在不断循环接收数据。receiver就是一个job，也就是说SparkStreaming是通过job启动receiver的，receiver在一个executor上运行，而且以一个task来接收数据，spark aplication中可以启动很多job，不同的job相互配合。另外，Locality Level是PROCESS_LOCAL，内存结点，数据量比较少优先放在内存。
3). 在job2中的三个stages中可以看到业务逻辑处理，Stage3：socket text stream->map， Stage4: parallelize，Stage5: leftOuterJoin->filter->map，数据接收在一台机器上，但是数据处理是在多台机器上，最大化地利用集群资源
4). job3和job4中都有skip的task，需要进一步思考！