第十章参考数据和主数据

西瓜汁大数据

已于 2024-07-27 14:10:23 修改

阅读量734

点赞数 27

分类专栏：数据治理CDGA 文章标签：大数据数据库数据仓库

于 2024-07-24 19:53:09 首次发布

本文链接：https://blog.csdn.net/H651883075/article/details/140334835

版权

数据治理CDGA 专栏收录该内容

17 篇文章 1 订阅

订阅专栏

1. 定义

管理共享数据以满足组织目标，减少数据的冗余相关风险，确保更高的质量，并降低数据的成本
重点：对共享的数据。通过建设标准，从而提高数据的质量

共享的数据，标准化建设，提高数据质量

2. 业务驱动因素

主数据
参考数据
- 通过使用一致的参考数据，满足多个项目的数据需求，降低数据整合的风险和成本
- 提升参考数据的质量

3. 目标与原则

目标

确保组织在各个流程中都拥有完整、一致、最新且权威的参考数据和主数据
促使企业在各业务单元和各应用系统之间共享参考数据和主数据
通过采用标准的、通用的数据模型和整合模式，降低数据使用和数据整合的成本及复杂性

原则

共享数据
所有权
质量
管理职责
控制变更
权限

4. 主数据管理的难点 (如何识别主数据)

如何识别主数据：
1. 从实体的角度（共享的实体）
2. .属性的层面（重要的或者相对稳定的属性）

主数据的主要案例 主数据交付物
- 主数据管理内容 - 主要交付的内容是两个体系一个平台
1. 主数据标准体系
2. 主数据保障体系
3. 主数据管理体系和工具范例

主数据识别（项目案例）：

主数据管理制度建设：

1.指导原则

2.组织与职责

3.管理流程及工作模板

4.技术规范

5.附则及附录

5. 主数据管理的重要性：

1.消除数据冗余

2.提升数据处理的效率

3.提高公司战略协同力

6. 主数据建设价值：

1.经济的价值

物料主数据的建设将会减低集团整体库存8%-20%

财务的主数据，可以提高资金周转率百分之5到15%

客商的主数据，提升集团市场开拓能力的百分之12到18%。
2.管理的价值
3.社会的价值

7. 主数据和参考数据的区别

主数据是需要收集，清洗和解析后使用的

主数据需要为概念实体（如产品，地点，账户，个人或者组织）的每一个实例识别和开发可信的实列版本，并维护该版本的时效性
参考数据是已经清洗过是可以直接使用的

（参考数据是先上线的，主数据是后上的，因为需要清洗等）

相同点

参考数据和主数据有着相似的用途。两者都为交易数据的创建和使用提供重要的上下文信息，两者都是应该在企业层面上被管理的共享资源

区别

参考数据不易变化，它的数据集通常会比交易数据集或主数据集小、复杂程度低，拥有的列和行也更少。参考数据管理不包括实体解析的挑战

8 主数据和参考数据的管理的重点

参考数据管理（Reference Data Management，RDM）。需要对定义的域值及其定义进行控制。参考数据管理的目标是确保组织能够访问每个概念的一整套准确且最新的值。
主数据管理（Master Data Management，MDM）。需要对主数据的值和标识符进行控制，以便能够跨系统地、一致地使用核心业务实体中最准确、最及时的数据。主数据管理的目标包括确保当前值的准确性和可用性，同时降低由那些不明确的标识符所引发的相关风险（那些被识别为具有多个实例的实体和那些涉及多个实体的实例）。

注：主数据是与业务直接相关的，参考数据相对来说独立于业务活动

9. 参考数据（国内叫做通用基础类数据）

1. 定义：参考数据是指用于描述或者分类其他数据，或者将数据与组织外部的信息联系起来的任何数据。

参考数据结构

列表。最简单的参考数据是由代码值和代码描述组成的列表
交叉参考数据列表。不同的应用程序可以使用不同的代码集表示相同的概念。这些代码集可能有不同的粒度，或者具有相同的粒度、不同的值。交叉引用数据集可以在代码值之间转换
分类法。分类参考数据体系根据不同级别的差异性获取信息。
本体。一些组织将用于管理网站内容的本体作为参考数据的一部分，这是因为本体模型也被用来描述其他数据或将组织数据与组织边界之外的信息联系起来。

10 主数据

主数据是有关业务实体（如雇员、客户、产品、金融结构、资产和位置等）的数据，这些实体为业务交易和分析提供了语境信息

主数据概念：

主数据应该代表与关键业务实体有关的权威的、最准确的数据。在管理良好的情况下，主数据是可信的，可以放心使用。

一般组织的主数据包括下列事物的数据

参与方主数据
产品和服务主数据
财务体系
位置信息主数据

可信来源，黄金记录

一数一源一标准

如：性别的数据存在于：卫健委、民政、公安户籍

11 主数据管理

评估主数据的管理情况

哪些角色、组织、地点和事物被反复引用
哪些数据被用来描述人、组织、地点和事物
数据是如何被定义和设计的，以及数据粒度细化程度如何
数据在哪里被创建或来源于哪里，在哪里被储存、提供和访问
数据通过组织内的系统时是如何变化的
谁使用这些数据，为了什么目的
用什么标准来衡量数据及其来源的质量和可靠性

在一个域内规划主数据管理包括以下步骤：

识别能提供主数据实体全面视图的候选数据源
为精确匹配和合并实体、实例制定规则
建立识别和恢复未恰当匹配或合并的数据的方法
建立将可信数据分发到整个企业的系统中的方法

主数据管理关键处理步骤

包括数据模型管理、数据采集、数据验证、标准化和数据丰富、实体解析、管理和共享

12 产品主数据的原始数据有可能存在的系统有：

PLM(产品生命周期管理)
PDM(产品数据管理)
ERP(企业资源规划)
MES(制造执行系统)
CRM(客户关系管理)

13 数据共享架构

实现主数据中心环境的三种基本方法：

注册表
交易中心
混合模式

注册表（Registry）

注册表是指向多种记录系统（System of Record）中主数据记录的索引。记录系统管理应用程序本地的主数据，可以根据主索引访问主数据。注册表相对容易实现，因为它很少需要对记录系统进行更改。但是，要对多个系统中的主数据进行组合时通常需要复杂的查询。此外，还需要实施多个业务规则，以解决跨系统时产生的语义差异

交易中心（Transaction Hub）

在该种方法中，各应用程序与中心系统交互，实现对主数据的访问和更新。主数据存在于交易中心内，而不存在于任何其他的应用程序中。交易中心是主数据的记录系统。交易中心使更好的治理成为可能，并对外提供一致的主数据源。但是，从现有的记录系统中删除更新主数据功能的成本很高。业务规则仅被实施在单一系统中，即中心系统