大数据技术原理与应用 第三版 林子雨 期末复习(六) 十一章 流计算
静态数据和流数据
静态数据:
不会随着时间变化的数据。
流数据:
数据快速持续到达,潜在数据量无法估计
数据来源多,格式复杂
数据量大,但是并不关注存储,处理后的数据要么被丢弃要么被归类存储
注重整体价值,不注重个别数据价值
数据顺序颠倒,不完整系统将会出错
批处理和流计算
流计算要求
高性能
海量式
实时性
分布式
易用性
可靠性
STROM
strom设计思想
1 Stream
Strom认为流数据是一个无限的Tuple序列
2 Spouts
Strom认为每个流数据都有一个源头,并把这个源头抽象为Spouts。Spouts会从外部读取流数据并将其抽象为Tuple
3 Bolts
Storm将Stream的状态转换过程抽象为Bolts
4 Topology
Strom将Spouts和Bolts组成的网络抽象成Topology。
5 Stream Grouping
Strom中的Stream Grouping 用于告知Topology如何再两个组件之间进行Tuple传送。
Strom的工作流程
Spark Streaming 与 Storm的对比
Spark Streaming无法实现毫秒级计算,Strom可以实现。
常用的流计算架还有Flink