大数据之路、阿里巴巴大数据实践读书笔记 --- 第五章、实时技术

— 数据的分类

根据实效性对数据分三大类：

• 离线：在今天（T）处理N天前（T-N， N >= 1）的数据延迟时间粒度为天；

• 准实时：在当前小时（H）处理N小时前（H - N， N > 0, 如 0.5 小时、1 小时等）的数据，延时时间粒度为小时；

• 实时：在当前时刻处理当前的数据，延迟时间粒度为妙；

【注意】：离线数据仓库的T + 1模型与这里的数据模型是有区别的，T + 1 模型代表的是 T 当天，T + 1第二天，在T + 1天来处理T那天的数据，这里就是T + 1 模型；

离线数据和实时数据都可以在批处理系统中实现（比如Hadoop、MaxCompute、Spark等系统），只是调度周期不一样而已，而实时数据则需要在流式处理系统中完成。

 

— 流式数据处理特征：

• 时效性能

数据实时采集、实时处理、延时粒度在秒级别甚至毫米级别，业务方能够在第一时间拿到加工处理后的数据；

 

• 常驻任务

区别于离线任务的周期调度，流式任务属于常驻任务，一旦启动后就会一直运行，直到人为的终止，因此计算成本会相对比较高。这一点也预示着流式任务数据是无界的，而离线任务的数据源是有界的，

这也是实时处理和离线处理最重要的差别。这