企业级数据资产管理平台规划建设方案

数据是资产的概念已经成为行业共识。然而现实中，企业对数据资产的管理和应用往往还处于摸索阶段，数据资产管理面临诸多挑战。同时，数据资产管理在实践过程中，还需要依托具体的软件工来执行，那么如何站在大数据视角规划建设数据资产管理平台呢？

数据资产管理在大数据管理体系的应用和底层平台中间。数据资产管理包括两个重要方面，一是数据资产管理的核心活动职能，二是确保这些活动职能落地实施的保障措施，包括组织架构、制度体系。 

数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理以及数据共享管理等8个方面。

数据资产管理是体系化非常强的工作，需要充分考虑企业内部IT系统、数据资源以及业务应用的开展现状，同时也要考虑围绕业务开展所设立的人员和组织机构的情况，所以在此基础上设计一套有针对性的数据资产管理组织架构、管理流程、管理机制和考核评估办法，通过管理的手段明确“责权利”以保障数据资产管理工作有序开展。

数据资产管理在大数据应用体系中，处于承上启下的重要地位。对上支持以价值挖掘为导向的数据应用开发，对下依托大数据平台实现数据全生命周期的管理。

数据资产管理9大活动职能中，其中数据资产价值评估和数据资产运营流通属于数据变现和数据服务，更偏向理论方面，这里就不进行发散了。

其中数据生命周期和数据模型管理通用性在数据资产管理阶段不太常用，笔者梳理了元数据管理、数据标准管理、数据质量管理、数据安全管理、主数据管理5大活动职能的关系如下：

那么这5大活动职能应该具备什么能力呢？接下来给大家一一阐述：

01 元数据管理

元数据(Metadata)是关于数据的数据，即对数据的描述信息。根据其属性的不同，元数据可分为技术元数据、业务元数据、管理元数据。在DAMM里面定义里面把业务元数据中里面分离出来一种流程元数据，国内针对此块考虑到已经很复杂就没有分离出来定义。

元数据管理是元数据的定义、收集、管理和发布的方法、工具及流程的集合，通过完成对相关业务元数据及技术元数据的集成及应用，提供数据路径、数据归属信息，并对业务术语、文档进行集中管理，借助变更报告、影响分析以及业务术语管理等应用，以此保证数据的完整性、控制数据质量、减少业务术语歧义和建立业务人员之间、技术人员之间，以及双方的沟通平台。

元数据管理工具可以了解数据资产分布及产生过程，该工具针对元数据管理活动职能而开发，需具备以下基础功能：

• 元模型：元模型，是定义采集元数据的哪些信息的一种定义，通俗一点说话就是元数据采集标准/规范是什么？一般情况下，系统上线会针对数据资产管理平台进行初始规范。

• 元数据采集：能够适应异构环境，支持从传统关系型数据库和大数据平台中采集从数据产生系统到数据加工处理系统到数据应用报表系统的全量元数据，包括过程中的数据实体（系统、库、表、字段的描述）以及数据实体加工处理过程中的逻辑；

• 元数据维护：能够根据类别、类型等信息展示各个数据实体的信息及其分布情况，展示数据实体间的组合、依赖关系，以及数据实体加工处理上下游的逻辑关系，针对元数据版可以进行版本管理，可以查看以往元数据变更情况；

• 元数据应用：元数据的应用一般包括数据地图，数据的血缘、影响分析，全链分析等；

• 元数据搜索：可根据数据源库、类型等搜索元数据信息。

了解更多元数据管理的内容，欢迎点击阅读：企业数据运营之道：元数据管理

02 数据标准管理

数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准一般包括三个要素：标准分类、标准信息项（标准内容）和相关公共代码（如国别代码、邮政编码）。数据标准通常可分为基础类数据标准和指标类数据标准。

数据标准管理工具主要为数据标准制定及维护工具可以规范数据资产格式、命名的准确性和口径的一致性，该工具针对数据标准管理职能而开发，需具备以下基础功能：

• 标准生成：可按照业务领域、业务主题、信息分类、信息项等生成标准细则；

• 标准映射：可以将制定的标准与实际数据进行关联映射，即实现数据标准的落地执行，维护标准与元数据之间的落地映射关系,包括元数据与数据标准的映射、元数据与数据质量的映射，以及数据标准和数据质量的映射，能提供在线的手工映射配置功能，并能对映射结果做页面展示；

• 变更查询：是查询发布或废止的标准的变更轨迹；

• 映射查询：是查询标准项与元数据之间的落地情况并提供下载功能；

• 维护标准：是指对标准状态进行管理，包括增删改、审核、定版、发布、废止等；

• 标准版本查询：是指对发布状态的标准进行版本管理；

• 标准导出：是指按照当前系统中发布的最新标准或者选择版本来下载标准信息。 

了解更多数据标准管理的内容，欢迎点击阅读：如何建立数据标准实现数据资产管理？

03 数据质量管理

数据质量是保证数据应用的基础。衡量数据质量的指标体系有很多，几个典型的指标有：完整性（数据是否缺失）、规范性（数据是否按照要求的规则存储）、一致性（数据的值是否存在信息含义上的冲突）、准确性（数据是否错误）、唯一性（数据是否是重复的）、时效性（数据是否按照时间的要求进行上传）。

数据质量管理是指运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动。通过开展数据质量管理工作，企业可以获得干净、结构清晰的数据，是企业开发大数据产品、提供对外数据服务、发挥大数据价值的必要前提，也是企业开展数据资产管理的重要目标。

数据质量管理工具从数据使用角度监控管理数据资产的质量，针对数据质量管理职能而开发，需具备以下基础功能：

• 质量需求管理：对数据使用过程中产生的问题进行收集、存储、分类并提供查询检索功能，为质量规则的制定提供依据；可以快速掌握目前数据质量的情况而进行相关质量活动的调整；

• 规则设置：能够提供稽核规则设置功能，用于设置一个稽核规则应用于哪类数据；

• 规则校验：能够对所关注的数据执行数据质量规则的校验任务；

• 任务管理：能够提供稽核任务调度功能，指定稽核任务周期执行；

• 报告生成：能够对校验结果的质量问题进行记录，积累形成问题知识库，并生成报告，在此基础上，能够根据检核结果，生成对问题数据的质量提高建议，并可直接操作修改数据。

了解更多数据质量管理的内容，欢迎点击阅读：数据质量专项治理在政务大数据中的应用实践

04 主数据管理

主数据（Master Data）是跨系统、跨模块、跨部门、跨地区、有高质量要求、高时效要求、被各项业务反复使用的基础性和敏感性数据，主数据是企业信息系统的神经中枢，是业务运行和决策分析的基础。主数据被认为是“黄金数据”。

主数据管理（MDM）描述了一组约束（规程）、方法和技术解决方案用来保证整个信息供应链内主题域（subject domain）和跨主题域相关主数据的完整一致性。主数据管理是应用流程的补充，为应用提供精确、完整的关键业务实体数据。

主数据管理工具用来定义、管理和共享企业主数据信息，可通过数据整合工具（如ETL）或专门的主数据管理工具来实施主数据管理，目标是通过跨数据源的整合，提供企业“黄金数据”–主数据的最佳版本，并保证这些主数据在各个信息系统间的准确性、一致性、完整性。

所有数据资产的数据标准、元数据、数据质量以及数据流通和交易，更多就是围绕主数据进行的。该工具针对主数据管理职能而开发，需具备以下基础功能：

• 主数据集成：实现主数据整合、清洗、校验、合并等功能，根据企业业务规则和企业数据质量标准对收集到的主数据进行加工和处理，用于提取分散在各个支撑系统中的主数据集中到主数据存储库，合并和维护唯一、完整、准确的主数据信息；

• 主数据维护：支持对企业主数据的操作维护，包括主数据实例创建、修改、丰富，主数据关系类型定义与维护，主数据实例间关系创建与维护等；

• 主数据分析：实现对主数据的变更情况监控，为主数据系统管理员提供对主数据进行分析、优化、统计、比较等功能；

• 主数据共享：实现主数据对外查询和复制服务，前者用于在其它系统发出针对主数据实时响应类查询请求时，返回所需数据，后者则用于提供批量数据复制服务，一般采用ETL或CDC（变更数据抽取）实现方式。

了解更多主数据管理的内容，欢迎点击阅读：主数据项目实施方法与核心步骤

05 数据安全管理

数据安全管理是指对数据设定安全等级，保证其被适当地使用。企业通过数据安全管理，规划、开发和执行安全政策与措施，提供适当的身份以确认、授权、访问与审计等功能。

数据安全管理的目标是建立完善的体系化的安全策略措施，全方位进行安全管控，通过多种手段确保数据资产在“存、管、用”等各个环节中的安全，做到“事前可管、事中可控、事后可查”。

数据安全管理工具是结合信息安全的技术手段保证数据资产使用和交换共享过程中的安全。数据管理人员开展数据安全管理，是指执行数据安全政策和措施，为数据和信息提供适当的认证、授权、访问和审计，以防范可能的数据安全隐患。需具备以下基础功能：

• 数据获取安全：能够支持数据获取需要经过申请与审批流程，保障数据获取安全；

• 数据脱敏：能够支持数据脱敏规则、脱敏算法及脱敏任务的管理及应用，一般情况下，脱敏方式有动态脱敏和静态脱敏两种；

• 统一认证：定义数据安全策略，定义用户组设立和密码标准等；

• 租户隔离：管理用户，密码，用户组和权限；

• 角色授权：划分信息等级，使用密级分类模式，对企业数据和信息产品进行分类；

• 日志审计：审计数据安全，监控用户身份认证和访问行为，支持经常性分析。

了解更多数据安全管理的内容，欢迎点击阅读：企业数据安全体系建设指南

数据资产管理平台规划建设思路

上面讲了数据资产管理的五个方面的能力很多，加上数据生命周期管理和数据模型管理，有人会觉得数据资产管理活动职能非常多，做起来是不是非常复杂？答案是肯定的。

要做好数据资产管理，在数据治理过程中需要有很多东西才能完成，目前市面上很多数据治理和数据资产的厂商，都避免不了数据资产管理的复杂和实施工作量巨大等问题。

那么有没有比较好的架构规划落地数据资产管理产品呢？答案也是肯定的，那就是基于元数据智能驱动数据资产管理的基础能力，以智能为辅助手段实现数据标准、数据质量、数据服务、主数据、数据安全等产品之间信息互通。

随着机器学习相关算法越来越成熟，基于数据资产管理相关行业经验，可以打造很多智能手段来完成辅助数据资产管控过程，这样可以大大减少相关管理难度和实施工作量，以下例举数据资产管理过程中的一些智能创新点。

随着现代信息技术的发展，软件工具的自动化、智能化程度不断地提高，在数据资产管理中的作用越来越大。目前针对上述管理职能，国内很多厂商都开发了相关软件工具，其中，相对比较成熟的工具有数据标准管理工具、数据模型管理工具、元数据管理工具、主数据管理工具、数据质量管理工具、数据安全管理工具和数据生命周期管理工具等七类工具，这七类工具有的是单独呈现，有的是相互组合在一起形成包括多种功能的软件平台。

除上述工具之外，在大数据能力构建中，一般还要利用数据集成工具、数据共享交换平台等，通过传统数据仓库或大数据平台等媒介将数据集成交换到一起，从而为应用分析或开放做准备。

了解更多数据资产管理的内容，欢迎点击阅读：

• 普华永道：企业如何构建数据资产价值管理体系？（附下载）

• 阿里巴巴数据资产管理实践（PPT）

• 数据治理连载漫画：什么是数据资产管理？

• 企业数据资产管理落地实施方案

• 企业数据资产目录构建方法与步骤