流计算概述
流数据
流数据和静态数据不同,静态数据是和水库中的水一样,事先就放在那里,而流数据会像小溪流水一样不断地到达
对于流数据,一般来讲我们可能不会去过分地关注怎么去把这些数据保存起来。很多数据我们可能进行处理分析之后就扔掉了
根据两种数据的两种不同计算
流计算
流计算基本理念
三类流计算框架和平台
流计算特点
流计算一般采用订阅的方式,并不是由用户主动发起查询,而是一算到结果就主动推给用户
Spark Streaming
Spark Stream是一个典型的流计算框架
原理
本质上Spark是一个批处理框架,但是它的处理时效非常高,可以实现秒级响应,所以它就变相实现了非常高效的流计算。
把流计算切成一段一段,每段都是一个批处理,可以模仿流计算的效果
DStream本质上就是一堆的RDD
Spark Streaming并不是一个真正的流计算框架,只是变相实现流计算
Spark与Haoop+Strom比较
Spark Streaming
最新推荐文章于 2023-03-20 14:00:38 发布