主数据——共享数据的核心，数据资产的灵魂

最新推荐文章于 2024-09-06 14:43:32 发布

songroom

最新推荐文章于 2024-09-06 14:43:32 发布

阅读量2.3k

点赞数

分类专栏：资产管理金融科技大数据

资产管理同时被 3 个专栏收录

428 篇文章 105 订阅

订阅专栏

金融科技

207 篇文章 48 订阅

订阅专栏

大数据

126 篇文章 8 订阅

订阅专栏

主数据——共享数据的核心，数据资产的灵魂
原创：金融科技之道金融科技之道 12月1日

一面湖水扎西平措 - 中国新歌声第二季第2期

在本系列的第23篇（风控体系建设、数字化转型、金融科技应用前，您是如何看待数据问题的？）中，作者介绍了行业数据（包括主数据）问题、原因、现状，并呼吁行业应对数据问题高度重视并持续采取行动。本周末，趁着雾霾天，作者与您聊聊众多数据问题中需要关注的重点内容之一——主数据管理。作者2007年曾有幸参加一家大型集团数据治理与主数据管理的国际化项目，积累了一定的实践经验，加上，主数据的重要性在大数据时代更加突出，基于项目实践和行业洞察，分享以下内容，供您参考。

一、数据治理VS数据管理

在开讲之前，先解答一个常见疑问，即数据治理与数据管理的关系。虽然当前数据治理的词频热度高于数据管理，但数据治理只是数据管理的一部分，不管是软件能力成熟度模型集成协会（CMMI）发布的数据管理成熟度模型(DMM)，还是数据管理协会(DAMA)发布的数据管理知识体系(DMBOK)，都有相关说明，比如DMM明确了数据管理工作体系框架，包括数据战略、数据质量、数据运营、平台和架构、数据治理等5大核心域（如下图所示）。

虽如此，但数据治理是数据管理不可或缺的重要组成部分。数据治理强调如何让数据资产长期、可持续的发挥价值，因此需要明确职责、流程、权限角色、规范、标准等；而数据管理范围更广，强调通过人员、流程、技术等方面的协同实现公司层面的数据共享并充分发挥数据价值，数据管理贯穿数据生成、存储、使用、共享、归档、销毁的全生命周期。不同类型的数据比如元数据、主数据等都需要数据治理。

二、数据分类与主数据概念

在理解主数据、解决数据问题之前，首先，我们要明确到底有哪些数据或哪几类数据？当然，数据按照不同维度、不同语境可以分为不同的类，比如结构化和非结构化化、交易和非交易数据、行业数据和公司数据等。从数据治理或信息化项目的角度，数据一般分为：数据元、元数据、主数据、参考数据、常规数据等。

数据（data）：根据《信息技术数据元的规范和标准化》(GB/T18391.1-2002)，数据是指对事实、概念或指令的一种形式化标示，适用于以人工或自动方式进行通信、解释和处理。

数据元（data element）指用一组属性描述定义、标示、表示和允许值的数据单元。在特定的语境中，可以认为是不可再分的最小数据单元，也可以直观理解为数据库表的列，对象、特征、表达是数据元的三要素，比如“今天股市收盘是2500点”数据元，其中“今天股市”就是对象，“收盘”是特性，“2500”是表达。

元数据（MetaData）指描述数据的数据，也指帮助查找、存取、使用和管理信息资源的信息。为便于理解元数据和数据元，作者举个例子，比如我们要向中证金融报送两融数据，数据报送接口规范中有许多表，每个表有许多列，每个列有填报要求比如类型、是否为空。每个填报字段可以认为是数据元，而每个填报字段的填报要求可以认为是该字段的元数据，而每个字段可以认为是该表的元数据。也即数据元和元数据本身也是数据，在不同的上下文有不同的定义和理解，本身都是个相对的概念，意识到这点才能很好理解两者的关系。现实中，元数据常见用于描述数据库中所有数据的语境，而数据元通常用在行业标准制定。

参考数据（reference data）指数据可能的取值范围及其解释，也即我们常说的数据字典。数据字典虽然很好理解，但行业现实中，由于每个系统有不同的数据字典，甚至同一系统内也有不同数据字典，而且没有统一标准，间接造就了大量的数据孤岛，也需要加强治理。

常规数据（作者自己定义），是与每日业务开展或每个业务人员最为关注的那些数据，比如交易、审计、采购订单、销售订单、报表等等数据，

主数据（master data），通常是不随或很少随时间变化的静态数据，并且与个体活动或流程无关，比如客户、证券标的、金融产品、会计科目等信息，这些信息构成了公司的业务。主数据掌控交易数据如何被处理并决定着决策的精准度。主数据管理，本质上是各业务人员利用IT工具进行协作，来协调、清理、发布和保护企业需要共享的数据资产，保证企业核心信息的一致、准确和安全。主数据也是大数据建设中的重点内容。

为便于大家只管理解四类数据区别，作者画了一个见图如下，

元数据和参考数据一般与系统或数据库底层设计有关，相对变化频率非常低；而主数据与技术有关，当与业务关系更为密切，相对变化频率较低，也是常规数据的基础；而常规数据则变化频繁，只要展业基本都会累加，且实时性要求较高。基于以上分类和分析，作者认为，由于主数据与业务联系紧密且是一般数据基础，加上又有一定变化（频率很低），数据治理的重点领域是上述四类数据中的主数据，这应该也是SAP、ORACLE等国际巨头反复打磨并推出主数据管理解决方案的原因。

三、为什么说主数据管理是突破口或抓手

跨部门协同

数据资产的维护需要站在公司的高度，协同各个部门共同完成，主数据是在各个业务部门被重复使用的数据，其管理兼具技术和业务的双重因素，方法论上也需要公司层面整体把控，多部门协同参与。

见效快

主数据管理项目初期不涉及交易系统改造。主数据问题解决好了，公司的数据资产框架就理顺了，数据质量、数据及时性等将明显提升，便于继续开展其他数据治理、信息化、数字化工作。

时机好

一是当前金融科技应用、监管科技要求等，都需要数据为基础，也对经营机构的数据质量提出了较高的要求；二是随着移动互联网普及、金融科技应用，行业数据增长处在一个拐点期，此时开展主数据管理是很好的时机；三是不少经营机构现存众多子公司，也已开始在境外或其他国家开展业务，经营机构集团化趋势明显，而集团层面统一主数据管理则至关重要。