Spark Streaming编程模型

DStream 的操作流程

DStream 作为 Spark Streaming 的基础抽象，它代表持续性的数据流。这些数据流既可以通过外部输入源来获取，也可以通过现有的 DStream 的 Transformation 操作来获得。

在内部实现上，DStream 由一组时间序列上连续的 RDD 来表示。如图 1 所示，每个 RDD 都包含了自己特定时间间隔内的数据流。

图 1  DStream中在时间轴下生成离散的RDD序列

如图 2 所示，对 DStream 中数据的各种操作也是映射到内部的 RDD 上来进行的，可以通过 RDD 的 Transformation 生成新的 DStream。这里的执行引擎是 Spark。

图 2  DStream中的数据操作流程

Spark Streaming 使用

作为构建于 Spark 之上的应用框架，Spark Streaming 承袭了 Spark 的编程风格。本节以 Spark Streaming 官方提供的 WordCount 代码为例来介绍 Spark Streaming 的使用方式。

1. import org.apache.spark._
2. import org.apache.spark.streaming._
3. import org.apache.spark.streaming.StreamingContext._
4.  
5. //创