Spark Streaming

Spark Streaming

流式计算

流式计算拥有的特点：

数据是⽆界的(unbounded)

数据是动态的

计算速度是⾮常快的

计算不⽌⼀次

计算不能终⽌

离线计算的特点 ：

数据是有界的(Bounded)

数据静态的

计算速度通常较慢

计算只执⾏⼀次

计算终会终⽌

流式计算分为了实时计算和准实时计算

实时计算就是来⼀条记录(⼀个事件Event)启动⼀次计算；⽽准实时计算则是介于实时计算和离线计算之间的⼀个计算，所以每次处理的是⼀个微⼩的批次。

常⻅的离线和流式计算框架

常⻅的离线计算框架

\1. mapreduce

\2. spark-core

\3. flink-dataset

常⻅的流式计算框架

\1. storm(jstorm)

第⼀代的流式处理框架，每⽣成⼀条记录，提交⼀次作业。实时流处理，延迟低。

\2. spark-streaming

第⼆代的流式处理框架，短时间内⽣成mirco-batch，提交⼀次作业。准实时，延迟略⾼，秒级或者亚秒级延迟。

\3. flink-datastream(blink)

第三代的流式处理框架，每⽣成⼀条记录，提交⼀次作业。实时，延迟低。

SparkStreaming简介

SparkStreaming，和SparkSQL⼀样，也是Spark⽣态栈中⾮常重要的⼀个模块，主要是⽤来进⾏流式计算的框架。流式计算框架，从计算的延迟上⾯，⼜可以分为纯实时流式计算和准实时流式计算，SparkStreaming是属于 的准实时计算框架。

所谓纯实时的计算，指的是来⼀条记录(event事件)，启动⼀次计算的作业；离线计算，指的是每次计算⼀个⾮常⼤的⼀批(⽐如⼏百G，好⼏个T)数据；准实时呢，介于纯实时和离线计算之间的⼀种计算⽅式。显然不是每⼀条记 录就计算⼀次，显然⽐起离线计算数据量⼩的多，怎么表示？Micro-batch（微⼩的批次）。

SparkStreaming是SparkCore的api的⼀种扩展，使⽤DStream(discretized stream or DStream)作为数据模型， 基于内存处理连续的数据流，本质上还是RDD的基于内存的计算。

DStream，本质上是RDD的序列。SparkStreaming的处理流程可以归纳为下图：

SparkStreaming基本⼯作原理

接收实时输⼊数据流，然后将数据拆分成多个batch，⽐如每收集1秒的数据封装为⼀个batch，然后将每个batch交给Spark的计算引擎进⾏处理，最后会⽣产出⼀个结果数据流，其中的数据，也是由⼀个⼀个的batch所组成的。

Spark Streaming提供了⼀种⾼级的抽象，叫做DStream，英⽂全称为Discretized Stream，中⽂翻译为“离散流”，它代表了⼀个持续不断的数据流。DStream可以通过输⼊数据源来创建，⽐如Kafka、Flume、ZMQ和Kinesis；也可以通过对其他DStream应⽤⾼阶函数来创建，⽐如map、reduce、join、window。

DStream的内部，其实⼀系列持续不断产⽣的RDD。RDD是Spark Core的核⼼抽象，即，分布式式弹性数据集。DStream中的每个RDD都包含了⼀个时间段内的数据。

对DStream应⽤的算⼦，⽐如map，其实在底层会被翻译为对DStream中每个RDD的操作。⽐如对⼀个DStream执⾏⼀个map操作，会产⽣⼀个新的DStream。但是，在底层，其实其原理为，对输⼊DStream中每个时间段的RDD，都应⽤⼀遍map操作，然后⽣成的新的RDD，即作为新的DStream中的那个时间段的⼀个RDD。底层的RDD的transformation操作。

还是由Spark Core的计算引擎来实现的。Spark Streaming对Spark Core进⾏了⼀层封装，隐藏了细节，然后对开发⼈员提供了⽅便易⽤的⾼层次的API。

Storm V.S. SparkStreaming V.S. Flink

如何选择⼀款合适的流式处理框架

对于Storm来说：

1、建议在需要纯实时，不能忍受1秒以上延迟的场景下使⽤，⽐如实时计算系统，要求纯实时进⾏交易和分析时。

2、在实时计算的功能中，要求可靠的事务机制和可靠性机制，即数据的处理完全精准，⼀条也不能多，⼀条也不能少，也可以考虑使⽤Storm，但是Spark Streaming也可以保证数据的不丢失。

3、如果我们需要考虑针对⾼峰低峰时间段，动态调整实时计算程序的并⾏度，以最⼤限度利⽤集群资源（通常是在⼩型公司，集群资源紧张的情况），我们也可以考虑⽤Storm

对于Spark Streaming来说：

1、不满⾜上述3点要求的话，我们可以考虑使⽤Spark Streaming来进⾏实时计算。

2、考虑使⽤Spark Streaming最主要的⼀个因素，应该是针对整个项⽬进⾏宏观的考虑，即，如果⼀个项⽬除了实时计算之外，还包括了离线批处理、交互式查询、图计算和MLIB机器学习等业务功能&#x