8.数据中台 --- 数据资产管理

第8章　数据资产管理
8.1　数据资产的定义和3个特征
	中国通信院发布的<<数据资产管理实践白皮书4.0>>，其中将"数据资产"定义为由企业拥有或控制的，能够为企业带来未来经济利益的，
以物理或者电子的方式记录的数据资源，如文件资料、电子数据等。
	
	从这个定义可以看出，数据资产3个特征为：
		1.企业拥有或控制的
		2.能够带来未来经济利益
		3.数据资源

	<<数据资产管理实践白皮书4.0>>中对"数据资产管理"的定义为：规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和
监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。
	
	从这个定义可以看出，数据资产管理是通过一系列手段，以控制、保护、交付和提高数据资产的价值为目的。


8.2　数据资产管理现状和挑战
		大部分企业在数据方面面临的挑战：
			1.缺乏统一的数据视图
				由于缺乏统一的数据视图，数据的管理人员和使用人员无法准确快速的找到自己需要的数据。数据管理人员也无法从宏观层面
			掌握自己拥有哪些数据资产，拥有多少数据资产，这些数据资产分布在哪里，以及变化情况是怎样。

			2.数据基础薄弱
				大部分企业的数据基础还是很薄弱，存在数据标准混乱、数据质量参差不齐、各业务系统之间数据孤岛化严重、没有进行数据资产
			的萃取等现象，阻碍了数据的有效应用。

			3.数据应用不足
				受限于数据基础薄弱和应用能力不足，多数企业的数据应用刚刚起步，主要在精准营销、舆情感知和风险控制等有限场景进行了
			一些探索，数据应用的深度不够，应用空间亟待开拓。

			4.数据价值难估
				企业难以对数据对业务的贡献进行评估，从而难以像运营有形资产一样运营数据。产生这个问题的原因有2个：一是没有建立起
			合理的数据价值评估模型；二是数据价值和企业的商业模式密不可分，在不同的应用场景下，同一项数据资产的价值可能截然不同。

			5.缺乏安全的数据环境
				很多数据的犯罪是由于安全管理制度不完善、缺乏相应的数据安全管控措施导致的。

			6.数据管理浮于表面
				没有建立一套数据驱动的组织管理制度和流程，没有建立先进的数据管理平台工具，导致数据管理工作很难落地。


8.3　数据资产管理的4个目标
		数据资产管理是 数据中台面向企业提供数据能力的一个窗口，数据资产中心将企业的数据资产统一管理起来，实现数据资产的可见、可懂、
	可用和可运营。
		1.可见
			通过对数据资产的全面盘点，形成数据资产地图。针对数据生产者、管理者、使用者等不同的角色，用数据资产目录的方式共享数据资产，
		用户可以快速、精准的查找到自己关心的数据资产。

		2.可懂
			通过元数据管理，完善对数据资产的描述。同时在数据资产的建设过程中，注重数据资产业务含义的提炼，将数据加工和组织成人人可懂的、
		无歧义的数据资产。具体来说，在数据中台之上，需要将数据资产进行标签化。标签是面向业务视角的数据组织方式。

		3.可用
			通过统一数据标准、提升数据质量和数据安全性等措施，增强数据的可信度，让数据科学家和数据分析人员没有后顾之忧，放心使用数据
		资产，降低因为数据不可用、不可信带来的沟通成本和管理成本。

		4.可运营
			数据资产运营的最终目的是让数据价值越滚越大，因此数据资产运营要始终围绕资产价值而展开。通过建立一套符合数据驱动的组织管理
		制度流程和价值评估体系，改进数据资产建设过程，提升数据资产管理的水平，提升数据资产的价值。


8.4　数据资产管理在数据中台架构中的位置
		数字资产管理在数据中台架构中处于中间位置，介于数据开发和数据应用之间。数据资产管理对上支持以价值挖掘和业务赋能为导向的数据应用
	开发，对下依托大数据平台数显数据全生命周期的管理，并对企业数据资产的价值、质量进行评估，促进企业数据资产不断自我完善，持续向业务
	输出动力。

		数据资产体系是通过数据开发得到的宝贵成果。通过良好的数据资产管理，一方面可以保证数据资产的质量，提升数据资产的可信度；另一方面，
	组织良好的数据资产，既能为各类角色的用户提供数据资产的直观视图，方便用户查看和使用，又能源源不断的输出数据资产服务能力，持续赋能
	业务场景。


8.5　数据治理
	1.数据治理的6个目标
		从根本上说，数据治理的目标是保障数据资产的质量，促进数据资产的价值创造。这个根本目标可以分解为以下6项：
			1.提升数据质量，帮助走出基于数据的更高效、更准确的决策；
			2.构建统一的、可执行的数据标准；
			3.良好的响应数据生产者、消费者、数据处理技术人员等数据利益相关者的需求，如保护好客户(数据生产者)的数据隐私和数据安全；
			4.培训组织内所有的管理层和员工，让大家采用共同的解决数据问题的方法；
			5.实现可重复的数据管理流程，并确保流程透明；
			6.实现数据的可持续运营、数据资产的增值。

	2.数据治理的6个原则
		数据治理的原则可以总结为以下6条：
			1.标准化原则
				数据标准化是实现高价值数据、支撑以数据为基础的相关业务的先决条件。组织必须制定可参考、可落地的标准。当争议发生时，
			有权威的标准可供仲裁参考。

			2.透明原则
				除了一些需要保密的安全措施以外，数据治理相关的文件、数据问题的发现等，都应该是公开透明的，相关人员应该清楚正在发生
			的事情，以及事情发生后应如何按照原则处理。

			3.数据的认责与问责
				数据治理必须解决无人问责的问题，比如将很多岗位列为负责人，最终确没有人真正负责。数据的认责是数据治理的先决条件，
			数据的问责和考核制度是确保数据治理工作落地的制度保障。

			4.平衡原则
				在进行数据治理的过程中，必须在代价和收益之间取得平衡。往往没有必要追求百分之百的数据质量，而对于历史遗留数据，数据
			标准也不可能对齐完全约束。很多时候，对企业来说，数据可商用是平衡原则的重要参考。

			5.变更原则
				随着市场和业务的不断发展，数据标准、元数据、数据质量等要求并不是一成不变的，既要控制数据的变更流程，也要主动适应
			这些变化，推动标准更新。

			6.持续改进原则
				业务在不断变化，数据在持续产生，数据治理并非朝夕之功，需要持续推动，不断改进，形成长效机制。

	3.数据治理的理论体系
		国际上有名的理论体系有：DAMA(国际数据管理协会)、CMMI(软件能力成熟度模型集成)研究所、IBM数据治理委员会和Gartner
	(高德纳)公司。其中，以DAMA提出的数据治理理论体系最被广泛接受。

		DAMA从数据治理生命周期角度对数据资产的管理行使权力和控制的活动(规划、监控和执行)进行了重点研究。定义了数据治理、数据架构管理、
	数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理这10个
	领域，以及目标和原则、活动、主要交付物、角色和职责、技术、实践和方法、组织和文化这7个环境因素，为数据管理提供了完整的结构体系。

		CMMI研究所推出的DMM(数据管理成熟度模型)，帮助企业改善他们整个业务领域的数据管理实践。DMM模型由5大核心过程域和一套支撑流程
	组成，五大核心过程域包括：数据管理战略、数据治理、平台和架构、数据运、数据质量。

		我国提出的DCMM(数据管理能力成熟度评估模型)。DCMM充分结合大数据特点和国内数据治理现状，形成 数据战略、数据治理、数据架构、
	数据标准、数据质量、数据安全、数据应用、数据生命周期8个核心域及28个过程域，重点关注数据的管理过程和方法。

		DCMM在数据管理的8个核心领域中，将数据管理的成熟度划分为5个等级。
			1.初始级
				数据管理主要在项目级体现，没有统一的管理流程，主要是被动式管理。
			2.受管理级
				组织已经意识到数据是资产，根据管理策略的要求制定了管理流程，指定了相关人员进行初步管理。
			3.稳健级
				数据已被当做实现组织绩效目标的重要资产，在组织层面制定了系列的标准化管理流程，促进数据管理的规范化。
			4.量化管理级
				数据被认为是获取竞争优势的重要资源，数据管理的效率可以量化分析和监控。
			5.优化级
				数据被认为是组织生存和发展的基础，相关管理流程能实时优化，能在行业内进行最佳实践分享。

		DCMM可以为组织带来的收益如下：
			1.规范数据管理方面的职能域划分
			2.提出数据管理参考内容、流程和工具集
			3.获得数据管理现状、识别差距并提出未来发展方向
			4.建立数据管理的相关能力域的最佳实践
			5.持续提升数据管理能力

	4.数据治理的发展趋势
		1.从质量管理到质量与服务并重
			在传统的关系型数据库时代，开展数据治理更多的是为了解决数据质量问题，提升数据决策水平。而在大数据时代，除了保证数据质量
		之外，对数据治理也提出了更高的要求，数据必须更好的适应不确定性的需求，即插即用，服务不断变化的业务创新，发挥数据更大的价值。
		在这种要求下，可以通过数据资产管理，在传统的数据治理能力之外，提供数据资产视图能力、数据检索能力、数据共享能力、数据价值
		运营能力等，实现数据的课件、可懂、可用、可运营，并不断增值。数据管理部门也有机会从一个纯粹的成本中心逐渐变成企业的创新中心
		和高利润部门。

		2.人工智能大幅度提升数据治理效率
			高质量的大数据作为AI的原料，不断的训练出表现越来越出色的AI模型。而反过来，AI也可以反哺大数据的处理能力，帮助人类大幅度
		提升大数据处理效率。

		3.以元数据为核心的分布式数据治理
			数据治理总是随着数据存储的位置而进行的。而实现这些，需要数据治理围绕元数据展开，无论数据分散在何处，都可以在数据保留在
		原地的情况下，通过元数据把它们关联在一起，因此元数据将成为未来数据治理的基础和核心。


8.6　数据资产管理与数据治理的关系
		数据治理 是指对数据资产管理行使 权力和控制的活动集合(规划、监督和执行)。传统的数据治理内容通常包含数据标准管理、元数据管理、
	数据质量管理、数据安全管理、数据生命周期管理等内容。

		数据资产管理的定义：规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、
	方法和程序，从而控制、保护、交付和提高数据资产的价值。

		数据资产管理就是传统的数据治理的升级版，可以认为是数据治理2.0。


8.7　数据资产管理职能
		<<数据资产管理实践白皮书4.0>>中规定，数据资产管理的管理职能包括 数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量
	管理、数据安全管理、数据价值管理和数据共享管理8个方面。本书加入，数据资产门户、生命周期管理、标签管理3个。

		1.数据标准管理
			1.数据标准概念
				大数据的标准体系框架由7个类别的标准组成，分别为 基础标准、数据标准、技术标准、平台和工具标准、管理标准、安全和隐私标准，
			及行业应用标准。

				数据标准定义：是对数据的表达、格式及定义的一致约定，包括数据业务