1.SparkStreaming--使用nc发消息，准实时计算wordCount

一、在qianfeng01上启动：然后发数据

nc -lk qianfeng01 10086
注意：-l是监听， -k 当一个连接结束时，强制nc监听另一个连接

二、运行代码：

package com.qf.sparkStreaming.day01

import org.apache.spark.SparkConf
import org.apache.spark.storage.StorageLevel
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object _02SparkStreamingReadLocalFile {
  def main(args: Array[String]): Unit = {
    //1.获取一个配置对象
    //如果是本地模式，那么最少需要两个线程。一个线程负责接收数据，另一个负责计算
    val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local[2]")
    //2.获取SparkStreaming的上下文对象
    val context: StreamingContext = new StreamingContext(conf, Seconds(5))
    //3.读取TCP协议，用nc发送数据
    val dStream: ReceiverInputDStream[String] = context.socketTextStream("qianfeng01", 10086)
    //4.使用算子进行计算，返回新的DStream，wordCount
    val value: DStream[(String, Int)] = dStream.map((_, 1)).reduceByKey(_ + _)
    //5.打印
    value.print()

    //6.启动计算程序
    context.start()
    //7.等待终止，避免没接收到数据就终止程序的情况
    context.awaitTermination()
  }

}