解读大数据

大家好，今天，我们来聊聊大数据。

这些年，大数据作为一个时髦概念，出现频率很高，关注度也很高。

对于很多人来说，当他第一次听到“大数据”这个词，会自然而然从字面上去理解——认为大数据就是大量的数据，大数据技术就是大量数据的存储技术。

但是，事实并非如此。

大数据比想象中复杂。它不只是一项数据存储技术，而是一系列和海量数据相关的抽取、集成、管理、分析、解释技术，是一个庞大的框架系统。

更进一步来说，大数据是一种全新的思维方式和商业模式。

今天这篇文章，就让我们花五分钟的时间，来深入了解一下，到底什么是大数据。

大数据的定义

首先，还是要重新审视大数据的定义。

行业里对大数据的定义有很多，有广义的定义，也有狭义的定义。

广义的定义，有点哲学味道——大数据，是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征，从而做出提升效率的决策行为。

狭义的定义，是技术工程师给的——大数据，是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。

相比较而言，我还是喜欢技术定义，哈哈。

大家注意，关键词我都在上面原句加粗了哈！

要做什么？——获取数据、存储数据、分析数据

对谁做？——大容量数据

目的是什么？——挖掘价值

获取数据、存储数据、分析数据，这一系列的行为，都不算新奇。我们每天都在用电脑，每天都在干这个事。

例如，每月的月初，考勤管理员会获取每个员工的考勤信息，录入Excel表格，然后存在电脑里，统计分析有多少人迟到、缺勤，然后扣TA工资。

但是，同样的行为，放在大数据身上，就行不通了。换言之，传统个人电脑，传统常规软件，无力应对的数据级别，才叫“大数据”。

大数据，到底有多大？

我们传统的个人电脑，处理的数据，是GB/TB级别。例如，我们的硬盘，现在通常是1TB/2TB/4TB的容量。

TB、GB、MB、KB的关系，大家应该都很熟悉了：

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

而大数据是什么级别呢？PB/EB级别。

大部分人都没听过。其实也就是继续翻1024倍：

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

只是看这几个字母的话，貌似不是很直观。我来举个例子吧。

1TB，只需要一块硬盘可以存储。容量大约是20万张照片或20万首MP3音乐，或者是631903部《红楼梦》小说。

 

数据的增长，为什么会如此之快？

说到这里，就要回顾一下人类社会数据产生的几个重要阶段。

大致来说，是三个重要的阶段。

第一个阶段，就是计算机被发明之后的阶段。尤其是数据库被发明之后，使得数据管理的复杂度大大降低。各行各业开始产生了数据，从而被记录在数据库中。这时的数据，以结构化数据为主（待会解释什么是“结构化数据”）。数据的产生方式，也是被动的。

第二个阶段，是伴随着互联网2.0时代出现的。互联网2.0的最重要标志，就是用户原创内容。随着互联网和移动通信设备的普及，人们开始使用博客、facebook、youtube这样的社交网络，从而主动产生了大量的数据。

第三个阶段，是感知式系统阶段。随着物联网的发展，各种各样的感知层节点开始自动产生大量的数据，例如遍布世界各个角落的传感器、摄像头。

经过了“被动-主动-自动”这三个阶段的发展，最终导致了人类数据总量的极速膨胀。

大数据的4Vs

行业里对大数据的特点，概括为4个V。前面所说的庞大数据体量，就是Volume（海量化）。除了Volume之外，剩下三个，分别是Variety、Velocity、Value。

我们一个一个来介绍。

Variety（多样化）

数据的形式是多种多样的，包括数字（价格、交易数据、体重、人数等）、文本（邮件、网页等）、图像、音频、视频、位置信息（经纬度、海拔等），等等，都是数据。

数据又分为结构化数据和非结构化数据。

从名字可以看出，结构化数据，是指可以用预先定义的数据模型表述，或者，可以存入关系型数据库的数据。