谈谈大数据时代企业如何进行数据治理体系建设

     随着云计算、物联网、移动互联网等新一代信息技术的快速发展，人类产生的数据量呈指数级增长。据资料显示，2012年，全球数据量达到2.8ZB，预计到2020年，全球数据量将达到40ZB。大数据蕴含着巨大的价值，如今众多企业已将数据视作企业的宝贵资产。然而，数据价值密度与数据总量成反比。面对巨大的数据规模，如何管理和利用数据，使其发挥价值是企业必须考虑的重要问题。大数据的价值所在使其面临着隐私和安全方面的威胁。大数据治理将组织的部门、流程、人等元素与数据的整个生命周期联系在了一起，对企业数据管理和数据资产价值有着至关重要的作用。

《DGI数据治理框架》一文将数据治理定义为“数据相关事务的决策和授权的执行”，并进一步解释为信息处理过程决策权和职责的策略，约定了由谁负责处理哪些信息，并在什么情况下采用哪种方法，以及何时来执行。首先，大数据治理是信息治理计划的一部分，这是其定位。这就要求组织在制订信息治理框架时，必须将大数据纳入其中，比如在信息治理委员会中增加数据科学家，在信息治理目标中增加大数据治理目标等。其次，大数据治理主要是数据处理的一系列相关政策的制订，这是其内涵。再次，必须优化大数据，这是大数据治理的重点。最后，大数据必须变现，这是大数据治理的目的所在。

大数据体量大、种类繁多，且价值密度低，组织必须对其进行优化，比如定义元数据、净化大数据、实施数据生命周期管理等。看似没有任何价值的单一数据集合在一起时，会发现新的价值，这是大数据价值体现的重要途径之一。而大数据价值的体现往往会涉及数据的隐私，这就要求组织在进行大数据价值体现时，必须注重大数据的隐私处理。组织将数据视作其资产的一种，要将其转化成组织可以使用的现金，而变现的方式可以是单纯地出售数据本身，也可以是利用数据开发新业务。

一、企业实施大数据治理的必要性

1、企业实现数据资源在组织内部的共享和交换的需要

目前，大部分工业企业已经完成了ERP、CRM、供应链、协同办公等企业信息化系统的建设，但是由于数据分散在众多系统中，缺乏统一的数据定义和数据分类，因此在数据使用上存在数据不标准、数据不一致、数据完整性差等问题。

数据不标准主要表现在不同系统之间描述同一业务实体的数据定义标准不同；数据不一致主要表现在相关联业务系统的数据不同步、各应用系统间存在数据编码规则不一致的问题，还有重复编码的问题；数据完整性差表现为缺少数据实体的关键信息。企业必须对各个系统的数据源以及输出的数据资产进行统一的数据治理，实现数据在不同组织和系统内的交换与共享。只有解决了数据问题，才能实现IT价值。

2、提升海量数据资源质量的需要

大数据时代数据产生的价值越来越大，各企业都在探索基于大数据的相关技术和应用模式，最终目的就是挖掘数据的价值，推动企业的发展。因为数据有可能是成本，也有可能是资产，能给企业带来重要的价值，是企业宝贵的资源。如果没有数据治理，数据的质量就无法保证，数据难以成为企业的资产，既使再多的业务和技术投入也都是徒劳。数据质量低下会导致企业在IT方面的重复投入，各种应用系统的价值难以有效地发挥出来，数据的问题甚至会使得企业错失商机，损失无法估量。

数据治理是保证数据质量的必需手段，数据治理的价值贡献在于确保数据的准确性、可获取性、安全性、适度分享和合规使用。例如，可以对数据服务涉及的计算资源、数据资源制定标准化的统一管理规范，制定涵盖主数据、数据主题、数据质量、数据安全、数据共享等数据标准体系及数据管理体系。

3、数据驱动企业进行科学决策的需要

当今世界进入了数据爆炸的时代，数据成为企业重要的资产。企业涉及的数据类型，包括文本、图像、音频、视频等，分为静态数据和动态数据，实时数据和非实时数据，结构化数据、半结构化数据和非结构化数据，这些数据有些来源于企业的内部信息系统及设备，有些来源于外部的供应链和社交网络。数据驱动企业的决策成为时代发展的必然。

数据治理能使企业清楚地认识自己的优势和劣势，有利于企业提高决策的合理性，为用户提供更加优质的服务。大数据时代，企业可以通过对数据的整合和分析，从中获取对企业有用的数据。新的数据技术手段，使得信息在企业内部不同部门之间有效、快速地传递，使得不同部门之间的交流、沟通更加透明，使得企业不同的利益主体能广泛地参与决策，从而提高决策的科学性和合理性。

4、企业整合数据资源提升竞争力的需要

在企业的生产经营活动中会产生大量的数据，企业需要对事务性数据、机器生成数据、社交媒体数据等内外部数据进行整合，特别是对与企业重大商业利益相关的数据资源的整合、分析与利用，从而指导企业的经营与发展。

数据技术带来的不仅是技术的更新，还有管理方式的改变，数据治理不仅局限在企业的决策层，还包含管理层和业务层，数据治理能改善企业管理层与其他利益相关者的关系，使企业变得更加敏捷和高效，更注重用户体验的提升和需求的满足。例如，为解决日常的数据收集、数据处理效率较低、数据不一致的问题，可以通过元数据管理系统，建立采集元数据和元数据关系，提升跨系统的数据交互能力以及数据整合能力，进一步提升企业的核心竞争力。

二、企业大数据治理现状

伴随着大数据时代的到来，企业由于早期在信息系统构建中缺乏统一的全局规划，使得其在当前数据治理体系的构建中存在着一系列的问题，如果不能有效对这些问题进行解决，以构造出完善的数据治理体系，势必会对未来企业的发展带来不利的影响。

1、大数据时代的定义及特征

（1）大数据时代的定义

我国已经进入了数字经济时代，必然会产生大量数据，大数据主要是指人们在日常工作、生产、生活中通过数字化的方式进行呈现和存储。也可以很通俗地将大数据理解成为巨大的数据信息，而伴随着人们的各种需求的不断增加，这种数据量还在不断的增加。举例来说，人们通过计算机互联网对视频和新闻的观看，都不同程度地促进了大数据时代的快速形成。

（2&#