Spark学习笔记：Spark Streaming算子开发实例

最新推荐文章于 2024-07-05 15:12:51 发布

SetsunaMeow

最新推荐文章于 2024-07-05 15:12:51 发布

阅读量900

点赞数 1

本文链接：https://blog.csdn.net/lrxcmwy2/article/details/82731637

版权

本文详细介绍了Spark Streaming的算子开发，包括transform算子用于黑名单用户实时过滤，updateStateByKey算子在实时WordCount中的应用，window滑动窗口算子的操作，reduceByKeyAndWindow算子用于在线热点搜索词统计，以及foreachRDD算子在数据库操作中的使用，展示了如何将结果保存到MySQL数据库中。

摘要由CSDN通过智能技术生成

Spark Streaming算子开发实例

reduceByKeyAndWindow算子开发

实例：实时全局统计WordCount，并将结果保存到MySQL数据库中

Spark Streaming算子开发实例

transform算子开发

transform操作应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作，还可以用于实现DStream API中所没有提供的操作，比如说，DStreamAPI中并没有提供将一个DStream中的每个batch，与一个特定的RDD进行join的操作，DStream中的join算子只能join其他DStream，但是我们自己就可以使用transform操作来实现该功能。

实例：黑名单用户实时过滤

package StreamingDemo

import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * 实时黑名单过滤
  */
object TransformDemo {
  def main(args: Array[String]): Unit = {
    //设置日志级别
    Logger.getLogger("org").setLevel(Level.WARN)
    val conf = new SparkConf()
      .setAppName(this.getClass.getSimpleName)
      .setMaster("local[2]")
    val ssc = new StreamingContext(conf, Seconds(2))

    //创建一个黑名单的RDD
    val blackRDD =
      ssc.sparkContext.parallelize(Array(("zs", true), ("lisi", true)))

    //通过socket从nc中获取数据
    val linesDStream = ssc.socketTextStream("Hadoop01", 6666)

    /**
      * 过滤黑名单用户发言
      * zs sb sb sb sb
      * lisi fuck fuck fuck
      * jack hello
      */
    linesDStream
      .map(x => {
        val info = x.split(" ")
        (info(0), info.toList.tail.mkString(" "))
      })
      .transform(rdd => { //transform是一个RDD->RDD的操作，所以返回值必须是RDD
        /**
          * 经过leftouterjoin操作之后，产生的结果如下：
          * (zs,(sb sb sb sb),Some(true)))
          * (lisi,(fuck fuck fuck),some(true)))
          * (jack,(hello,None))
          */
        val joinRDD = rdd.leftOuterJoin(blackRDD)

        //如果是Some(true)的，说明就是黑名单用户，如果是None的，说明不在黑名单内，把非黑名单的用户保留下来
        val filterRDD = joinRDD.filter(x => x._2._2.isEmpty)

        filterRDD
      })
      .map(x=>(x._1,x._2._1)).print()

    ssc.start()
    ssc.awaitTermination()
  }
}

测试

启动nc，传入用户及其发言信息

可以看到程序实时的过滤掉了在黑名单里的用户发言

updateStateByKey算子开发

updateStateByKey算子可以保持任意状态，同时不断有新的信息进行更新，这个算子可以为每个key维护一份state，并持续不断的更新state。对于每个batch来说，Spark都会为每个之前已经存在的key去应用一次State更新函数，无论这个key在batch中是否有新的值，如果State更新函数返回的值是none，那么这个key对应的state就会被删除；对于新出现的key也会执行state更新函数。
要使用该算子，必须进行两个步骤

定义state——state可以是任意的数据类型
定义state更新函数——用一个函数指定如何使用之前的状态，以及从输入流中获取新值更新状态

注意：updateStateByKey操作，要求必须开启Checkpoint机制

实例：基于缓存的实时WordCount

package StreamingDemo

import org.apache.log4j.{Level, Logger}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * 基于缓存的实时WordCount，在全局范围内统计单词出现次数
  */
object UpdateStateByKeyDemo {
  def main(args: Array[String]): Unit = {
    //设置日志级别
    Logger.getLogger("org").setLevel(Level.WARN)

    /**
      * 如果没有启用安全认证或者从Kerberos获取的用户为null，那么获取HADOOP_USER_NAME环境变量，
      * 并将它的值作为Hadoop执行用户设置hadoop username
      * 这里实验了一下在没有启用安全认证的情况下，就算不显式添加，也会自动获取我的用户名
      */
    //System.setProperty("HADOOP_USER_NAME","Setsuna")

    val conf = new