第2章 Dstream入门

上篇：第1章 Spark Streaming概述

---

1、WordCount案例实操

需求：
使用netcat工具向9999端口不断的发送数据，通过SparkStreaming读取端口数据并统计不同单词出现的次数

操作步骤：

（1）添加依赖

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.1.1</version>
</dependency>

（2）编写代码

package com.study.bigdatabase.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object SparkStreaming01_WordCount {
  def main(args: Array[String]): Unit = {

    //使用SparkStreaming完成WordCount

    //Sprak配置对象
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkStreaming01_WordCount")

    //实时数据分析环境对象
    //采集周期：以指定的时间为周期采集实时数据
    val streamingContext = new StreamingContext(sparkConf,Seconds(3))

    //从指定的端口采集数据
    val socketLineDStream: ReceiverInputDStream[String] = streamingContext.socketTextStream("hadoop105", 9999)

    //将采集的数据进行分解（扁平化）
    val wordDStream: DStream[String] = socketLineDStream.flatMap(line => line.split(" "))

    //将数据进行结构的转换方便统计分析
    val mapDStream: DStream[(String, Int)] = wordDStream.map((_, 1))

    //将转换结构后的数据进行聚合处理
    val wordToSumDStream: DStream[(String, Int)] = mapDStream.reduceByKey(_ + _)

    //将结果 打印出来
    wordToSumDStream.print()

    //注意：不能停止采集功能
    //streamingContext.stop()

    //启动采集器
    streamingContext.start()

    //Drvier等待采集器的执行：
    streamingContext.awaitTermination()
  }
}

拷贝Spark的配置文件：log4j.properties.template

并重名为log4j.properties

把log4j.properties文件拷贝到项目工程的resource资源处：

修改文件日志级别

启动程序，控制台将会出错：

我们在端口号发数据，发现一个错误：

[root@hadoop105 spark-2.1.1-bin-hadoop2.7]# nc -lk 9999
-bash: nc: command not found

解决方法：

[root@hadoop105 spark-2.1.1-bin-hadoop2.7]# yum install -y nc

再次发，向端口号发送数据：

[root@hadoop105 spark-2.1.1-bin-hadoop2.7]# nc -lk 9999

再次启动程序，控制台将会打印信息：

这个是没有数据的，是没有采集数据

想要采集数据，只需在窗口写数据就可以

就会得到你想要的数据，发送到在控制台，并在控制台打印出来

---

2、WordCount解析

scretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark原语操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：

对数据的操作也是按照RDD为单位来进行的

计算过程由Spark engine来完成