1.两种典型数据
- 静态数据和流数据
2.流数据特征
- 数据快速持续到达,潜在大小无穷无尽
- 数据来源多,格式复杂
- 数据量大
- 注重数据整体价值
- 顺序颠倒或不完整
3.流计算概述
- 批量计算,MapReduce 处理大规模静态数据,无法满足秒级响应。
- 流计算框架,实时采集,实时分析处理,结果反馈。用户点击流实时分析,时间内结果有意义,低延迟可扩展高可靠。高性能,海量式,实时性,分布式,易用性。
- 三类流计算框架:商业级(IBM InofoSphere Streams,IBMSreamBase)、开源(Twitter Storm,Yahoo! S4)、公司自身(百度Dstream,淘宝银河流计算平台)。
- 流计算流程:数据实时采集(不同机器日志数据等,kafka,flume),数据实时计算,实时查询服务。