【Spark Streaming】Spark Streaming原理与介绍

目录

整体流程

数据抽象

总结

---

• 整体流程

Spark Streaming中，会有一个接收器组件Receiver，作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStream

  DStream会被按照时间间隔划分成一批一批的RDD，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。时间间隔的大小可以由参数指定，一般设在500毫秒到几秒之间。

对DStream进行操作就是对RDD进行操作，计算处理的结果可以传给外部系统。

Spark Streaming的工作流程像下面的图所示一样，接收到实时数据后，给数据分批次，然后传给Spark Engine（引擎）处理最后生成该批次的结果。

 

• 数据抽象

Spark Streaming的基础抽象是DStream（Discretized Stream），离散化数据流，连续不断的数据流)，代表持续性的数据流和经过各种Spark算子操作后的结果数据流

 

DStream本质上就是一系列时间上连续的RDD

 

对DStream的数据的进行操作也是按照RDD为单位来进行的

 

容错性

底层RDD之间存在依赖关系，DStream直接也有依赖关系，RDD具有容错性，那么DStream也具有容错性，如下，每一个椭圆形表示一个RDD，椭圆形中的每个圆形代表一个RDD中的一个Partition分区，每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream)，每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD

 

准实时性/近实时性

Spark Streaming将流式计算分解成多个Spark Job，对于每一时间段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。对于目前版本的Spark Streaming而言，其最小的Batch Size的选取在0.5~5秒钟之间。所以Spark Streaming能够满足流式准实时计算场景，对实时性要求非常高的如高频实时交易场景则不太适合

 

• 总结

简单来说DStream就是对RDD的封装，你对DStream进行操作，就是对RDD进行操作，对于DataFrame/DataSet/DStream来说本质上都可以理解成RDD