DStream操作实战:2.SparkStreaming接受socket数据，实现单词计数累加

package cn.testdemo.dstream.socket
    import org.apache.spark.{SparkConf, SparkContext}
    import org.apache.spark.streaming.{Seconds, StreamingContext}
    import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
    //todo:利用sparkStreaming接受socket数据，实现所有批次数据单词出现次数的总和

    object SparkStreamingSocketTotal {

      //currentValues:表示的是当前批次中相同单词出现所有的1    (hadoop,1)(hadoop,1)(hadoop,1)
      //historyValue:表示之前所有批次中单词出现的总次数
      def updateFunc(currentValues:Seq[Int], historyValue:Option[Int]):Option[Int] ={
                val newValues: Int = currentValues.sum + historyValue.getOrElse(0)
                Some(newValues)
      }

      def main(args: Array[String]): Unit = {
         //1、创建sparkConf
          val sparkConf: SparkConf = new SparkConf().setAppName("SparkStreamingSocketTotal").setMaster("local[2]")
        //2、创建sparkContext
          val sc = new SparkContext(sparkConf)
          sc.setLogLevel("WARN")
        //3、创建streamingContext
         val ssc = new StreamingContext(sc,Seconds(5))
        //设置checkpoint,用于保存中间结果数据
          ssc.checkpoint("./ck2018")

        //4、获取socket数据
          val stream: ReceiverInputDStream[String] = ssc.socketTextStream("192.168.216.121",9999)
        //5、操作数据流
          val wordAndOne: DStream[(String, Int)] = stream.flatMap(_.split(" ")).map((_,1))
        //6、相同单词出现的次数累加---updateStateByKey方法，它会记录下上一个批次key的结果
        val result: DStream[(String, Int)] = wordAndOne.updateStateByKey(updateFunc)
        //7、打印结果数据
          result.print()

        //8、开启计算
          ssc.start()
          ssc.awaitTermination()
      }
    }