大数据
大数据的定义
生成和消费模式发生了很大的变化
原模式:少数公司生成数据,人们消费数据。如电影、报纸
新模式:人们生产数据,人们消费数据。比如微信操作、搜索操作、买东西的痕迹
- 美国国家标准技术研究院给大数据的定义:大数据有规模巨大(Volume)、种类繁多(Variety)、增长速度快(Velocity)、和变化多样性(Variability),且需要一个可扩展体系结构来有效存储、处理和分析广泛收集来的数据
- IBM早期提出4V特性,强调数据的数量(Volume)、多样性(Variety)、速度(Velocity)、难辨识(Veracity)等方面,后来加入数据的价值(Value)成为大数据的5V特性。
大数据特点
- 体量大:volume
- 类型多:variety
- 速度快: velocity
- 价值密度低:value
大数据分析与传统数据分析不同
传统数据分析(BI) | 大数据分析 | |
---|---|---|
关注点 | 描述性分析、诊断 性分析 | 预测性分析 |
数据集 | 有限的干净的数据集、简单模型 | 大规模的数据集、多类的原始数据、复杂的数据类型 |
分析结果 | 事件及其原因 | 新的规律和知识 |