通过过滤黑名单案例对SparkStreaming 透彻理解

SparkStreaming是随着流进来数据按照时间为单位生成job,然后触发job在cluster执行的一个流式处理引擎,实质上是加上了时间维度的批处理。DStream是一个RDD的集合,对DStream的操作构成DStream Graph。本文以过滤黑名单为例,进行初步分析。

过渡黑名单代码:

package com.dt.spark.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

object OnlineBlackListFilter {
  def main(args: Array[String]) {
    /**
      * 第一步:创建Spark的配置对象,设置Spark程序的运行时的配置信息
      * 例如说通过setMaster来设置程序要连接的spark集群的master的url,如果设置为
      * local, 则代表Spark程序在本地运行,特别适合于机器配置条件非常差
      * (例如只有1g的内存)的初学者
      */
    val conf = new SparkConf() //创建SparkConf对象
    conf.setAppName("OnlineBlackListFilter") //设置Spark应用程序的名称,在程序运行的监控界面可以看到名称
    //    conf.setMaster("local") //此时,程序在本地运行,不需要安装Spark集群
    conf.setMaster("spark://master:7077") //此时,程序在本地运行,不需要安装Spark集群

    val ssc = new StreamingContext(conf, Seconds(300))

    /**
      * 黑名单数据准备,实际上黑名单一般都是动态的,例如在Redis中或者数据库中,黑名单的生成往往有复杂的业务逻辑,
      * 具体情况算法不同,但是在SparkStreaming进行处理的时候每次都能够访问完整的信息
      *
      */
    val blackList = Array(("hadoop", true), ("mahout", true))
    val blackListRDD = ssc.sparkContext.parallelize(blackList, 8)

    val adsClickStream = ssc.socketTextStream("master", 9999)

    /**
      * 此处模拟的广告点击的每条数据的格式为:time、name
      * 此处map操作的结果是name, (time, name)的格式
      */
    val adsClickStreamFormatted = adsClickStream.map(ads =>(ads.split(" ")(1), ads))
    adsClickStreamFormatted.transform(userClickRDD =>{
      //通过leftOuterJoin操作既保留了左侧用户广告点击内容的RDD的所有内容,又获得了相应点击内容是否在黑名单中
      val joinedBlackListRDD = userClickRDD.leftOuterJoin(blackListRDD)
      val validClicked = joinedBlackListRDD.filter(joinedItem => {
        /**
          *进行filter过滤的时候,其输入元素是一个Tuple:(name,((time, name), boolean))
          * 其中第一个元素是黑名单的名称,第二个元素的第二个元素是进行leftOuterJoin的时候是否存在该值
          * 如果存在的话,表明当前广告点击是黑名单,需要过滤掉,否则的话则是有效点击内容;
          */
        if(joinedItem._2._2.getOrElse(false)){
          false
        } else {
          true
        }
      })
      validClicked.map(validClicked =>{ validClicked._2._1 })
    }).print()
    /**
      * 计算后的有效数据一般都会写入Kafka中,下游的计费系统会从Kafka中pull到有效数据进行计费
      */

    ssc.start()
    ssc.awaitTermination()
  }
}

Job分析:
1. 为了更好的观察SparkStreaming程序数据的注入流出和处理,将BatchInterval设置成一个比较大的值,eg. 5min
2. 将程序打包放到服务器上,执行nc启动999端口:$nc -lk 999, 在nc中发送数据, 程序收到数据打印出后,中止程序,从history server中观察job:http://master:18080
3. 从UI界面中可以看到有5个job,job0,1都是start,job2,3,4是print,但我们执行代码中只有1个job,即print,可见,SparkStreaming启动的过程中自己会启动一些job
4. 从job id为0到4依次观察各个job以及其中的stages:
1). job0中两个stages,Stage0: makeRDD->map,Stage1:reduceByKey
2). 在job1中有一个stage,stage2: makeRDD,类型为receiver,stage中description:Streaming job running receiver 0,而且运行了1.5min,整个SparkStreaming运行才2min,由此可知,在job1中启动了receiver,receiver一直在不断循环接收数据。receiver就是一个job,也就是说SparkStreaming是通过job启动receiver的,receiver在一个executor上运行,而且以一个task来接收数据,spark aplication中可以启动很多job,不同的job相互配合。另外,Locality Level是PROCESS_LOCAL,内存结点,数据量比较少优先放在内存。
3). 在job2中的三个stages中可以看到业务逻辑处理,Stage3:socket text stream->map, Stage4: parallelize,Stage5: leftOuterJoin->filter->map,数据接收在一台机器上,但是数据处理是在多台机器上,最大化地利用集群资源
4). job3和job4中都有skip的task,需要进一步思考!

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值