1、大数据的基础知识
大数据的概念
大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
百度百科:大数据
大数据主要解决了什么问题?
序号 | 解决的问题 | 产生的产品 |
---|---|---|
1 | 海量数据的存储 | HDFS (Hadoop Distributed System hadoop分布式文件系统) |
2 | 海量数据的分析计算 | MapReduce |
3 | 统一资源管理调度 | YARN |
大数据的特点
序号 | 特 |
---|