主数据管理(Master Data Management)

一、什么是主数据？

主数据是为了解决企业对数据一致性、时效性的需求应运而生。

主数据是用于描述企业运营过程中最为关心的核心数据。它通常更新不频繁，它不是事务性的但用于描述事务。最为典型的主数据例如客户(Customer)、产品(Product)、地区(Locatioin)等。

主数据应该是企业全量数据的一小部分，但是最复杂和最有价值的部分。如何识别主数据？

准则一：主数据能与其它数据交互。例如在交易系统，主数据一般是名词，事务性数据是动词描述，举例“客户购买了产品”，在数据仓库中，主数据相当于维表，事务数据则为事实表。

准则二：主数据是有生命周期的，主数据能增、删、改、查。但这个CRUD生命周期需要根据企业的业务规则处理，不是纯粹的对数据库记录进行CRUD操作。

准则三：数据量需要达到一定的基数，如果只有几个条的客户数据记录，这些不能定义为主数据。

准则四：主数据应该是长期有效的。

准则五：主数据有一定的复杂性。

准则六：主数据对企业有价值的。价值和复杂性通常需要一起考虑。

准则七：主数据相对事务性数据变化少，但是完成不变的数据不是主数据，不应该纳入主数据管理。

准则八：主数据可服用，可跨系统共享。

二、什么是主数据管理？

主数据管理（MDM）是确保主数据在整个企业中协调的技术、工具和过程。MDM提供了一个统一的主数据服务，在整个企业和业务伙伴之间提供准确、一致和完整的主数据。并且：

1）主数据管理不只是一个技术问题，企业的制度更为重要，主数据管理上的困难更多是制度问题。

2）主数据管理是包括创建和维护，需要一套工具和流程保证数据清洗、一致和随时间更新和扩展。

建立高效的主数据管理系统，主数据管理策略应该围绕以下6个方面展开：

a. 治理：管理组织机构、政策、原则和质量，以促进获得准确和经认证的主数据。本质上，这是一个跨职能团队定义、沟通、协调MDM项目各个方面的过程。

b. 测量：基于你的既定目标，你做得怎么样？测量应着眼于数据质量和持续改进。

c. 组织：安排合适的人员在MDM项目中，包括数据所有者，数据管理员等，组织数据治理小组。

d. 政策：MDM应该遵守的要求，政策和标准。

e. 流程：定义主数据的数据生命周期流程。

f. 技术：主数据的中心存储和使能技术。

三、建立主数据管理

通常建立主数据项目有以下这些主要步骤：

1. 确认主数据的来源
2. 确认主数据的生产者和消费者
3. 收集和分析主数据的元数据，包括：属性名称，数据类型，有效值，约束，默认值，依赖和所有者
4. 任命数据管理员，通常数据管理员应该是非常熟悉源数据，并知道如何把源数据转换为主数据格式。
5. 建立数据治理系统和委员会：这个组织必须是权威的和经验丰富的，需要对主数据的维护方式，主数据的内容、时效性、授权和审核等方面作出决策。
6. 开发主数据模型：这步是最为复杂的，包括属性名称，数据类型，数据有效行等，还得包括源数据的映射关系，而且如果要满足多方需求，主数据模型将会十分复杂。
7. 选择工具：通过购买或自建的方式，利用工具完成主数据的清洗，转换，合并，并包括数据模型管理，数据匹配，数据质量和数据质量等方面的管理。
8. 考虑基础架构：完成主数据的开发，接下来需要考虑主数据管理系统的可用性，可靠性，扩展性等问题
9. 数据验证
10. 建立数据维护流程：数据管理员有能力和权力去修改错误数据，MDM系统需要提供工具让数据管理员识别错误数据并方便修改。MDM应该提供数据检视功能，隔离错误的源数据和回滚不正确的变更。

四、如何建立主数据

两点比较重要：

1. 清洗和标准化数据：确认主数据的数据模型，定义主数据的属性内容，类型，和源数据的字段映射等，然后对源数据进行ETL处理。数据清洗最为关键，应该做到：规范化数据格式，替换空值，标准化数据值（如统一单位，货币），字段映射。
2. 匹配数据和消除重复：首先需要一个数据准确性的评审机制，如果是多数据源，数据是否匹配尽可能根据多个字段进行比较，通过置信区间阈值，例如超过95%匹配即可自动处理，80%-95%需要由数据管理员人工合并。

如何合并数据？如果手上有多个数据源合并为单一主数据，那么最好的方法是先从最可信的数据源开始，基于单一的数据源建立主数据并正确运行后，再逐步增加数据源并服务更多数据消费者。

五、如何维护主数据

维护主数据比较常见的情况：

1. 单一副本：这种情况不推荐，因为数据的变更修改都以最新数据提供给数据消费者，甚至如果数据模型发生变化，数据消费者也必须跟着改变，造成使用成本上升。
2. 多副本，单一维护：主数据的增、删、改由单一的责任主体负责，数据消费者同步主数据，他们只维护非主数据部分，限制他们对主数据的增、改。
3. 连续合并：即允许任何人对主数据进行增、删、改、查，对应数据使用者来说是非常方便的，但是对主数据有几个问题：更新冲突，多个数据使用端同时更新同一条数据，这时以谁的为准？新增数据需要重新合并，可能存在多个使用端新增同一条数据，这时需要合并机制把重复数据合并为一条；维护数据难保一致性，例如两个使用端同时读取数据，其中一个修改了数据，而另一个浏览数据过程中可能发生前后不一致情况。

 

参考资料：

https://profisee.com/master-data-management-what-why-how-who/