大数据基本概念

 

现如今，我们已经从互联网时代过渡到大数据时代。无论你对大数据知识了解多少，这个名词肯定不会陌生。

笔者今年年初开始接触大数据平台的相关测试，由于之前对大数据知识的积累并不多，所以测试期间也是恶补了许多大数据的知识。

下面将总结的一些常见、易混淆的大数据相关概念分享给大家。

什么是大数据

大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。

大数据的主要特点为：

1. 数据量大（Volume）
2. 数据类别复杂（Variety）
3. 数据处理速度快（Velocity）
4. 和数据真实性高（Veracity）

合起来被称为4V。

还有的将大数据特点定义为6V模型，即增加了Valence（连接）、Value（价值）2V。

hadoop生态系统

在了解了什么是大数据之后，我们先了解下开源大数据的鼻祖——hadoop（2.0）生态环境。

可以用下面的层次结构图来表示。