大数据 01 概述

1 概念

1）何为大数据？

百度释义：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2）背景

无处不在的数据：

• 科学数据
• 金融数据
• 物联网数据
• 交通数据
• 社交网络数据
• 零售数据

3）特征

• volume -> 数据量大
• variety -> 数据类型，数据源多样
• velocity -> 数据产生、处理、存储速度快（快速的数据流转）
• value -> 数据的价值大
• veracity -> 数据的质量、准确度

4）涉及的技术

• 数据采集
• 数据存储
• 数据处理、分析、挖掘
• 数据可视化

5）面对的挑战

• 对现有数据库的挑战
• 对实时性技术的挑战
• 对网络、数据中心、运维的挑战
• 对数据安全、隐私的挑战
• 对兼容复杂多样的数据类型的挑战

6）应对挑战

• 存储 -> GFS -> HDFS
• 读写速度 -> BigTable -> HBase
• 计算效率 -> MapReduce

7）应用案例

• 电商 -> 推荐系统