Spark Streaming

流计算概述

流数据

流数据和静态数据不同，静态数据是和水库中的水一样，事先就放在那里，而流数据会像小溪流水一样不断地到达

对于流数据，一般来讲我们可能不会去过分地关注怎么去把这些数据保存起来。很多数据我们可能进行处理分析之后就扔掉了

根据两种数据的两种不同计算

流计算

流计算基本理念

三类流计算框架和平台

流计算特点

流计算一般采用订阅的方式，并不是由用户主动发起查询，而是一算到结果就主动推给用户

Spark Streaming

Spark Stream是一个典型的流计算框架

原理

本质上Spark是一个批处理框架，但是它的处理时效非常高，可以实现秒级响应，所以它就变相实现了非常高效的流计算。

把流计算切成一段一段，每段都是一个批处理，可以模仿流计算的效果

DStream本质上就是一堆的RDD

 

Spark Streaming并不是一个真正的流计算框架，只是变相实现流计算

Spark与Haoop+Strom比较