Spark大数据-Spark流数据概述

1.两种典型数据

• 静态数据和流数据

2.流数据特征

• 数据快速持续到达，潜在大小无穷无尽
• 数据来源多，格式复杂
• 数据量大
• 注重数据整体价值
• 顺序颠倒或不完整

3.流计算概述

• 批量计算，MapReduce 处理大规模静态数据，无法满足秒级响应。
• 流计算框架，实时采集，实时分析处理，结果反馈。用户点击流实时分析，时间内结果有意义，低延迟可扩展高可靠。高性能，海量式，实时性，分布式，易用性。
• 三类流计算框架：商业级（IBM InofoSphere Streams，IBMSreamBase）、开源（Twitter Storm，Yahoo! S4）、公司自身（百度Dstream，淘宝银河流计算平台）。
• 流计算流程：数据实时采集（不同机器日志数据等，kafka，flume），数据实时计算，实时查询服务。