本文介绍了大数据的基本概念、特性，并深入探讨了大数据的关键技术，特别是分布式储存和处理。重点阐述了Hadoop和Spark这两个大数据计算工具，解释了Hadoop的HDFS和MapReduce，以及Spark作为快速计算引擎的角色。文章指出，尽管Spark在某些方面可以替代MapReduce，但并不意味着它会完全取代Hadoop，两者在大数据生态系统中相辅相成。
如果想知道关系，可以直接跳转到1.4节
大数据概念及组件介绍
一、大数据概念与特性
1.1 大数据的概念
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
1.2 大数据的特性
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：
- Volume（大量）
- Velocity（快速话）
- Variety（多样化）
- Value（低价值密度）
- Veracity（真实性）
1.3 大数据的关键技术
大数据技术的不同层面及其功能，不同层面及其功能如下：
最低0.47元/天 解锁文章
扫一扫
1442
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
