Spark Streaming架构

spark streaming
是spark 核心API的拓展，是一个实时数据计算工具，具备高吞吐量、容错机制的特点，支持多种数据源获取数据，接受kafka、flume、HDFS等数据源的数据，通过处理之后，存储到HDFS、database等各种地方。

streaming和storm之间的区别：
1.streaming支持批处理数据、storm对数据一条一条处理，storm的实时性高于streaming
2.streaming的吞吐量高于storm
3、容错机制不同：storm是acker（ack/fail消息确认机制）确认机制确保一个tuple被完全处理，Spark Streaming是通过存储RDD转化逻辑进行容错，也就是如果数据从A数据集到B数据集计算错误了，由于存储的有A到B的计算逻辑，所以可以从A重新计算生成B。

运行原理：
spark streaming将接收到的实时数据流信息，按照一定的时间间隔，对数据进行划分，交给spark engine引擎进行处理，最终得到一批批的结果。每一批数据在spark内核对应一个RDD，一批RDD构成Dstream。
对Dstream的操作都能够转变为对每个RDD的操作，这些操作构成一个DstreamGraph。
构建小数据片的DAG构建，对data进行切片处理
Dstream Graph的依赖关系是计算和处理结果有关的RDD。