时间可以划分成两种
- 处理时间:数据抵达流计算系统开始进行处理的时间。数据被处理的时间。
- 事件时间:被检测系统获得数据的时间。一般用时间戳的方式携带在数据中。
处理时间 晚于 数据事件时间。
流计算框架
-
Hadoop: 批处理框架:
采集的数据全存入HDFS, 并使用MapReduce进行批处理。处理结果存储在HDFS/分布式数据库中。 需要时候使用Hive查询
-
spark: 微批处理框架。
将流数据分割成一系列微小的批处理作业。
Spark将数据抽象成DStream, 由弹性分布式数据集RDD进行滑动窗口或数据切分进行管理。每一个微批处理作业都围绕RDD进行处理。