大数据特征与发展历程

大数据(big data)是这样的数据集合：数据量增长速度极快，用常规的数据工具无法在一定的时间内进行采集、处理、存储和计算的数据集合。

作者认为具有以下五大特征(4V+1O)的数据才称之为大数据，即：

数据量大(Volume)：第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

类型繁多(Variety)：第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低(Value)：第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

速度快时效高(Velocity)：第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

数据是在线的(Online)：数据是永远在线的，是随时能调用和计算的，这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。比如，对于打车工具，客户的数据和出租司机数据都是实时在线的，这样的数据才有意义。如果是放在磁盘中而且是离线的，这些数据远远不如在线的商业价值大。

 

 

关于大数据特征方面，特别要强调的一点是数据是在线的，因为很多人认为数据量大就是大数据，往往忽略了大数据的在线特性。数据只有在线，即数据在与产品用户或者客户产生连接的时候才有意义。如某用户在使用某互联网应用时，其行为及时的传给数据使用方，数据使用方通过某种有效加工后(通过数据分析或者数据挖掘进行加工)，进行该应用的推送内容的优化，把用户最想看到的内容推送给用户，也提升了用户的使用体验。

大数据发展过程