大数据时代的4v
- 数据量大:数据量能够达到P,E甚至是Z级别
- 数据种类多:数据有多种,如日志,图片,音频,视频等
- 价值密度低:数据量很大,但是有价值的数据很有限
- 速度快时效高:数据的陈胜速度快,而且实时性高。
三次浪潮
第一次浪潮:软件还是企业级的,数据分析已经开始,存储数据成本较高。能产生的数据有限,数据处理能力有限。
第二次浪潮:互联网兴起,软件走向消费级。数据的存储成本越来越低,数据的产生速度越来越快,处理数据的能力越来越强。
第三次浪潮:互联网发展走向服务化,
大数据时代的技术支撑
- 虚拟化和云计算
- 基于分布式的hadoop生态系统
- Nosql
谷歌的三篇论文
- GFS(分布式文件系统)
- MapReduce(分布式计算引擎)
- Big Table(分布式列族数据库)