SparkStreaming之WordCount案例（一）

一、案例简介
使用 netcat 工具向 9999 端口不断的发送数据，通过 SparkStreaming 读取端口数据并统 计不同单词出现的次数 。
二、netcat操作
1、虚拟机中安装netcat
[root@hadoop1 spark]# yum install -y nc
2、启动程序并发送数据
[root@hadoop1 spark]# nc -lk 9999
三、代码实现
1、maven依赖

org.apache.spark
spark-streaming_2.11
2.1.1

2、java代码

object SparkStreamingDemo {
  def main(args: Array[String]): Unit = {
    //1.初始化 Spark 配置信息
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkStreamingDemo")
    //2.初始化SparkStreamingContext
    val ssc = new StreamingContext(sparkConf, Seconds(5))
    // 3.通过监控端口创建 DStream，读进来的数据为一行行
    val lineStreams = ssc.socketTextStream("hadoop1", 9999)
    // 4.将每一行数据做切分，形成一个个单词
    val wordStreams = lineStreams.flatMap(_.split(" "))
    // 5.将单词映射成元组（word,1）
    val wordAndOneStreams = wordStreams.map((_, 1))
    // 6.将相同的单词次数做统计
    val wordAndCountStreams = wordAndOneStreams.reduceByKey(_+_)
    // 7.打印
    wordAndCountStreams.print()
    // 8.启动SparkStreamingContext
    ssc.start()
    ssc.awaitTermination()
  }
}