大数据处理的基本流程：数据抽取与集成+数据分析+数据解释

大数据时代的到来改变了人们的生活方式、思维模式和研究范式，我们可以总结出 10 个重大变化，如图 1 所示。

图 1  大数据时代的 10 个重大变化

对研究范式的新认识：从第三范式到第四范式

2007 年 1 月，图灵奖得主、关系型数据库鼻祖 JimGray 发表演讲，他凭着自己对于人类科学发展特征的深刻洞察，敏锐地指出科学的发展正在进入“数据密集型科学发现范式”——科学史上的“第四范式”。

在他看来，人类科学研究活动已经历过三种不同范式的演变过程。

“第一范式”是指原始社会的“实验科学范式”。18 世纪以前的科学进步均属于此列，其核心特征是对有限的客观对象进行观察、总结、提炼，用归纳法找出其中的科学规律，如伽利略提出的物理学定律。

“第二范式”是指 19 世纪以来的理论科学阶段，以模型和归纳为特征的“理论科学范式”。其核心特征是以演绎法为主，凭借科学家的智慧构建理论大厦，如爱因斯坦提出的相对论、麦克斯方程组、量子理论和概率论等。

“第三范式”是指 20 世纪中期以来的计算科学阶段的“计算科学范式”。面对大量过于复杂的现象，归纳法和演绎法都难以满足科学研究的需求，人类开始借助计算机的高级运算能力对复杂现象进行建模和预测，如天气、地震、核试验、原子的运动等。

然而，随着近年来人类采集数据量的爆炸性增长，传统的计算科学范式已经越来越无力驾驭海量的科研数据了。例如，欧洲的大型粒子对撞机、天文领域的 Pan-STARRS 望远镜每天产生的数据多达几千万亿字节（PB）。很明显，这些数据已经突破了“第三范式”的处理极限，无法被科学家有效利用。

正因为如此，目前正在从“计算科学范式”转向“数据密集型科学发现范式”。

“第四范式”的主要特点是科学研究人员只需要从大数据中查找和挖掘所需要的信息和知识，无须直接面对所研究的物理对象。例如，在大数据时代，天文学家的研究方式发生了新的变化，其主要研究任务变为从海量数据库中发现所需的物体或现象的照片，而不再需要亲自进行太空拍照。

对数据重要性的新认识：从数据资源到数据资产

在大数据时代，数据不仅是一种“资源”，更是一种重要的“资产”。因此，数据科学应把数据当作一种“资产”来管理，而不能仅仅当作“资源”来对待。也就是说，与其他类型的资产相似，数据也具有财务价值，且需要作为独立实体进行组织与管理。

大数据时代的到来，让“数据即资产”成为最核心的产业趋势。在这个“数据为王”的时代，回首信息产业发展的起起伏伏，我们发现产业兴衰的决定性因素，已不是土地、人力、技术、资本这些传统意义上的生产要素，而是曾经被一度忽视的“数据资产”。

世界经济论坛报告曾经预测称，“未来的大数据将成为新的财富高地，其价值可能会堪比石油”，而大数据之父维克托也乐观地表示，“数据列入企业资产负债表只是时间问题”。

“数据成为资产”是互联网泛在化的一种资本体现，它让互联网不仅具有应用和服务本身的价值，而且具有了内在的“金融”价值。数据不再只是体现于“使用价值”方面的产品，而成为实实在在的“价值”。

目前，作为数据资产先行者的 IT 企业，如苹果、谷歌、IBM、阿里、腾讯、百度等，无不想尽各种方式，挖掘多种形态的设备及软件功能，收集各种类型的数据，发挥大数据的商业价值，将传统意义上的 IT 企业，打造成为“终端+应用+平台+数据”四位一体的泛互联网化企业，以期在大数据时代获取更大的收益。

大数据资产的价值的衡量尺度主要有以下 3 个方面的标准。

1）独立拥有及控制数据资产

目前，数据的所有权问题在业界还比较模糊。从拥有和控制的角度来看，数据可以分为 Ⅰ 型数据、Ⅱ 型数据和 Ⅲ 型数据。

Ⅰ 型数据主要是指数据的生产者自己生产出来的各种数据，例如，百度对使用其搜索引擎的用户的各种行为进行收集、整理和分析，这类数据虽然由用户产生，但产权却属于生产者，并最大限度地发挥其商业价值。

Ⅱ 型数据又称为入口数据，例如，各种电子商务营销公司通过将自身的工具或插件植入电商平台，来为其提供统计分析服务，并从中获取各类经营数据。虽然这些数据的所有权并不属于这些公司，在使用时也有一些规则限制，但是它们却有着对数据实际的控制权。

相比于前两类数据，Ⅲ 型数据的产权情况比较复杂，它们主要依靠网络爬虫，如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据技术学习交流扣群：458数字345数字782获取学习资源，甚至是黑客手段获取数据。与 Ⅰ 型和 Ⅱ 型数据不同的是，这些公司流出的内部数据放在