Structured Streaming曲折发展史

Structured Streaming曲折发展史

1.1. Spark Streaming

在2.0之前，Spark Streaming作为核心API的扩展，针对实时数据流，提供了一套可扩展、高吞吐、可容错的流式计算模型。Spark Streaming会接收实时数据源的数据，并切分成很多小的batches，然后被Spark Engine执行，产出同样由很多小的batchs组成的结果流。本质上，这是一种micro-batch(微批处理)的方式处理，这种设计让Spark Streaming面对复杂的流式处理场景时捉襟见肘。

其实在流计算发展的初期，市面上主流的计算引擎本质上都只能处理特定的场景，

spark streaming这种构建在微批处理上的流计算引擎，比较突出的问题就是处理延时较高(无法优化到秒以下的数量级)，以及无法支持基于event_time的时间窗口做聚合逻辑。

在这段时间，流式计算一直没有一套标准化、能应对各种场景的模型，直到2015年google发表了The Dataflow Model的论文。

https://yq.aliyun.com/articles/73255

1.2.  Dataflow模型

在日常商业运营中，无边界、乱序、大规模数据集越来越普遍(例如，网站日志，手机应用统计，传感器网络)。同时，对这些数据的消费需求也越来越复杂，比如说按事件发生时间序列处理数据，按数据本身的特征进行窗口计算等等。同时人们也越来越苛求立刻得到数据分析结果。    作为数据工作者，不能把无边界数据集(数据流)切分成有边界的数据，等待一个批次完整后处理。

相反地，应该假设永远无法知道数据流是否终结，何时数据会变完整。唯一确信的是，新的数据会源源不断而来，老的数据可能会被撤销或更新。

由此，google工程师们提出了Dataflow模型，从根本上对从前的数据处理方法进行改进。

1.2.1. 核心思想

对无边界，无序的数据源，允许按数据本身的特征进行窗口计算，得到基于事件发生时间的有序结果，并能在准确性、延迟程度和处理成本之间调整。