SparkStreaming_updateStateByKey状态计算

目录

一、理论依据

二、代码测试wordCount

1、代码

2、测试数据

3、结果展示

---

一、理论依据

1、在流式计算中通常会有状态计算的需求，即当前计算结果不仅依赖于目前收到数据还需要之前结果进行合并计算的场景，由于sparkstreaming的mini-batch机制，必须将之前的状态结果存储在RDD中并在下一次batch计算时将其取出进行合并，这就是updateStateByKey方法的用处。

2、updateStateByKey操作，可以让我们为每个key维护一份state，并持续不断的更新该state。

(1)、首先，要定义一个state，可以是任意的数据类型；

(2)、其次，要定义state更新函数——>指定一个函数如何使用之前的state和新值来更新state。

(3)、对于每个batch，Spark都会为每个之前已经存在的key去应用一次state更新函数，无论这个key在batch中是否有新的数据。如果state更新函数返回none， 那么key对应的state就会被删除。 当然，对于每个新出现的key，也会执行state更新函数。

3、updateStateByKey操作，要求必须开启Checkpoint机制。

这样的话才能把每个key对应的state除了在内存中有，在checkpoint中也要有一份 ，因为你要长期保存一份key的state的话，spark streaming是要求必须用checkpoint的，以便于在 内存数据丢失的时候，可以从checkpoint中恢复数据

二、代码测试wordCount

1、代码

package main.scala.com.cn.sparkStreaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * sparkStreaming实时监控一个目录文件并进行实时单词统计
  */
object SparkStreamingSimpleExample {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("local[2]")
      .setAppName("SparkStreamingSimpleExample")
    val ssc = new StreamingContext(conf,Seconds(5))

    ssc.checkpoint("checkpoint")
    ssc.sparkContext.setLogLevel("WARN")
    val dStream = ssc.textFileStream("C:\\Users\\ddd\\Desktop\\aa")
    val valueMap = dStream.flatMap(d=>d.split(",")).map(s=>(s,1))
    //val countResult = valueMap.reduceByKey(_+_)
    //val countResult = valueMap.updateStateByKey{(newValues:Seq[Int],state:Option[Int])=> Some(newValues.sum+state.getOrElse(0))}
    val countResult = valueMap.updateStateByKey(updateFunction)
    countResult.print()
    ssc.start()
    ssc.awaitTermination()
  }

  def updateFunction(newValues:Seq[Int],state:Option[Int]):Option[Int]={
    val newCount = state.getOrElse(0)
    Some(newValues.sum+newCount)
  }
}

2、测试数据

先拷入t1.txt：

spark,hadoop

再拷入t2.txt:

livy,spark

3、结果展示

-------------------------------------------
Time: 1581822110000 ms
-------------------------------------------
(spark,1)
(hadoop,1)

-------------------------------------------
Time: 1581822115000 ms
-------------------------------------------
(livy,1)
(spark,2)
(hadoop,1)