大数据时代带来的技术变革思考（一）大数据的定义

       新世纪以来，随着企业信息化水平的提高、商务模式的创新以及互联网和社会媒体的深入普及，全球数据量正呈现出前所未有的爆发式增长态势。国际数据公司（IDC）的数字宇宙研究报告称：2011年全球被创建和被复制的数据总量超过1.8ZB，且增长趋势遵循新摩尔定律（全球数据量每两年翻一番），预计2020年将达到35ZB。与此同时，数据复杂性也急剧增长，其多样性（多源、异构、多模态、不连贯语法或语义等）、低价值密度（大量不相关信息、知识“提纯”难度高）、实时性（数据需实时生成、存储、处理和分析）等复杂特征日益显著。“大数据”时代已经到来。

       关于大数据的定义与思考引起了学术界和产业界的广泛思考，认为大数据是继云计算、物联网之后IT产业又一次颠覆性的技术变革，对于国家治理模式、企业管理决策、组织业务流程和个人生活方式都将产生巨大影响。

        国际数据公司（IDC）认为4个V可以用来定义大数据，即数据规模的大（volume）、数据的流转速度快（velocity）、数据类型多样化（variety）和蕴含的数据价值大（value）。

      维基百科对于大数据的定义为：大数据（英语：Big data），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（data set）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等；这样的用途正是大型数据集盛行的原因。[见http://zh.wikipedia.org/zh-cn/%E5%A4%A7%E6%95%B8%E6%93%9A]

        权威IT研究与顾问咨询公司Gartner将大数据定义为“在一个或多个维度上超出传统信息技术的处理能力的极端信息管理和处理问题”；

        美国国家科学基金会（NSF）则将大数据定义为“由科学仪器、传感设备、互联网交易、电子邮件、音视频软件、网络点击流等多种数据源生成的大规模、多元化、复杂、长期的分布式数据集”。 

       尽管不同的组织机构对于大数据众说纷纭，但均认为大数据与“海量数据”和“大规模数据”相比，其在数据体量和数据复杂性两方面均超出了现有技术手段的处理能力，并且大数据产业的机遇远远超出其中的风险。

 

注1：本文的部分内容引自中科院自动化研究所大数据专家曾大军教授的讲座。