【主数据管理】大型集团企业主数据管理（MDM）平台建设方案WORD

原文《大型集团企业主数据管理（MDM）平台建设方案》，WORD格式，主要建设内容：主数据管理平台建设目标、主数据管理平台架构设计、MDM平台功能架构、MDM平台主要功能、主数据管理平台方案设计、主数据管理需求分析、MDM平台实现模式建议、主数据与模型定义管理、主数据分发方案、业务主数据管理、MDM平台部署方案

取材网络旨在交流学习，如有侵权联系速删，过更多参考公众号：数字化建设方案

数据资源管理建设方案

基础平台中的数据管理服务是为了实现企业数据的标准化、一致性、准确性和可靠性，充分发掘数据价值，有效支撑企业信息数据管理和经营决策分析，实现XX集团数据的统一管理。

具体来讲，数据管理的主要能力是：数据分析、主数据管理、非结构化数据管理、数据仓库和大数据平台五大能力体组成。而细分展开来看，数据分析主要是数据的挖掘和商业智能，主数据管理是从业务的角度管理财务集中管控平台主数据的治理、存储、清洗和采集，非结构化数据需要搭建一个平台，主要实现非结构化的数据存储管理、内容管理和数据安全等主要功能。数据仓库和大数据是未来XX大数据的分析、计算和存储的技术平台基础服务。

主数据管理平台

主数据管理平台建设目标

主数据管理平台的建设目标如下：

• 构建集团统一主数据管理平台(MDM)，实现财务组织、会计科目、银行账号、往来单位、项目等主数据的梳理、整合、管控，包括主数据流程和功能的配置与开发，存量主数据的合并、清理和完善；实现财务组织、会计科目、银行账号、客户、供应商、项目等主数据的梳理、整合、管控，包括主数据流程和功能的配置与开发，存量主数据的合并、清理和完善；主数据管理平台(MDM)后续能够通过配置扩展，满足后续物资、燃料等业务主数据的统一管理。

主数据管理平台架构设计

MDM平台功能架构

主数据管理是企业数据管控体系的重要部分，基于XXMDM参考架构，结合XX集团MDM建设需求，推导出XX集团MDM功能架构。

XX集团MDM平台包括的主要功能如下：

• 数据模型管理数据质量管理数据采集与分发主数据业务管理主数据安全管理

MDM平台主要功能

基于XX集团财务集中管控平台业务需求、未来业务发展需求，结合企业MDM建设领先实践，提出XX集团MDM平台建设需要重点关注的能力。

模型管理及存储

提供对企业整个业务范围内的所有主数据的支撑，而非单独的去考虑独立的主数据。包括的功能：

1. 企业级多域支持

• 支持不同（多主题域）主数据的建模，比如客户、设备、功能位置、员工、供货商、科目等；
• 实现企业主数据的完整视图。

1. 数据模型管理

• 支持数据模型的导入、修改和扩展；提供对非结构化数据的支持；
• 定制化物理数据模型结构，数据结构的配置管理，提供版本管理，包括规则等；
• 提供数据模型的相关性分析功能，能列出某一数据实体相关的其他实体、服务，及其关系；
• 支持层次和关系历史变化的跟踪记录，用于查看主数据间的关系变化；

1. 主数据层次关系管理

• 支持复杂的主数据层次关系定义，支持不同主数据之间的关系定义，比如定义供货商与设备的关系，设备与功能位置的关系等；
• 支持不同层次和关系类型的定义，比如设备层次关系，组织机构层次关系等；
• 提供数据管理及用户交互功能，创建/更新/删除主数据关系，包括层级；为不同主数据类型及区域创建、维护多个层级。

1. 物理数据存储管理

• 数据实体以及属性的管理；
• 依据业务需要，提供多版本主数据控制管理。

1. 参考数据管理

• 支持主数据和交叉参考数据的统一管理，通过主数据查看相关数据的不同来源系统的数据；
• 支持数据历史来源跟踪。

1. 元数据管管理

• 捕获及存储元数据功能；
• 当主数据（黄金记录），交叉参照，不匹配数据捕获及更新时，开展审计追踪；
• 捕获属性变更记录；
• 定义数据元素、位置及类型；
• 支持元数据查询及报表。

1. 主数据服务

• 支持根据数据模型定义自动生成数据服务，支持Web Service、API调用接口，支持通过数据服务的实时数据访问。

数据质量管理

通过完备的数据清洗治理功能实现对主数据的标准化、清洗、匹配、查重，以及为系统管理员提供相应的功能能够对数据质量进行分析，具体需要包含如下功能：

1. 数据清洗：

• 提供数据清洗功能，支持数据标准化和数据清洗规则，支持批量和实时调用清洗规则的模式；
• 提供数据清洗及标准化引擎，处理失败的数据清洗、标准化；
• 支持数据装载和增量数据加载，支持错误数据管理和记录；
• 支持第三方数据清洗工具的集成，支持自定义数据清洗函数。

1. 数据匹配查重

• 数据匹配算法支持主数据的精确匹配和模糊匹配算法；
• 数据匹配合并规则，提供图形化数据匹配与合并规则定义工具，定义数据如何匹配并确定数据相似或重复，确定自动或者人工合并，确定自动合并的数据冲突处理规则等；
• 支持基于源系统、地理位置、主数据类型的数据匹配规则；
• 支持数据合并冲突处理，比如A系统和B系统都提供设备的保修期信息，需要根据规则确定主数据记录中保留哪个系统提供的保修期信息；
• 支持字段级数据信任机制，即可以定义一条主数据记录中的不同字段分别信任不同数据源；
• 支持数据分析反合并，提供数据跟踪功能，记录数据合并前各个数据源的历史状况，支持数据反合并。

1. 数据校验

• 在数据录入节点，检查&验证特定的属性，确保输入主数据的值有效，包括实时数据编辑、批量数据导入、数据管理员（用户）访问接口；
• 支持数据校验功能，支持空值检查、数据取值范围、数据格式等校验。

数据采集与发布

提供完备的接口集成与管理功能，能够全面解决各应用系统与主数据管理平台在集成过程中将会遇到的问题，具体需要包含如下功能：

• 批量及实时数据集成，提供批量和实时数据集成接口，从不同的数据源和应用系统集成数据；
• 提供批量数据传入、传出主数据，批量数据服务计划制定，协调所有批量活动及SLAs；
• 支持多种批量数据提取方式,包括扁平文件提取、直接数据查询；
• 支持与第三方数据集成工具集成（如采用ETL工具开展数据转换，支撑主数据的传入、转出需求）；
• 提供实时访问主数据域，开展主数据搜索、获取、匹配、增加及删除管理，支持与SOA/ESB架构集成能力；
• 提供内置APIs，执行额外的主数据业务逻辑，包括格式化、标准化及充实；
• 数据变化通知/同步，支持数据新增和修改的通知功能，支持通过JMS的发布订阅机制实现系统间同步。

主数据业务管理

提供灵活、可配、可扩展的主数据业务管理能力，包括：

1. 提供主数据管理流程，支持数据管理流程和审批、转发等功能，支持待办事宜管理等功能；
2. 主数据创建、变更（修改、删除、冻结）、发布/订阅等流程，明确职责分工及审批流程；
3. 支持SOA架构，可以对流程进行封装，实现与企业统一流程服务的整合，以及外部工作流程引擎的接入，如：BPEL引擎；
4. 提供数据管理员及用户界面功能：

• 创建/更新/删除主数据（黄金记录或最佳属性）及交叉参照记录；
• 修改主记录（黄金记录或交叉参照记录）状态；
• 管理及维护数据结构，管理数据充实链接；
• 支持直观的数据层次关系展示，可定制不同主数据的显示风格，并提供拖拽等交互操作功能，实现层次关系的维护；
• 支持历史数据查看功能，跟踪数据所有的变化过程；
• 支持数据清洗和校验功能，实现交互式提醒；
• 支持界面和布局定制功能。

1. 提供查询及搜索主数据功能，支持自定义数据搜索和查询，支持精确查询，基于通配符(%或*)的模糊匹配，基于同音字、顺序颠倒、拼音的模糊匹配等功能；
2. 主数据报表功能。

主数据安全管理

主数据安全管理功能包括：

• 支持内部用户、角色管理，支持企业LDAP用户管理目录；
• 提供基于角色的用户管理功能，支持对角色进行字段级、属性的增删改查等访问权限控制；
• 支持数据审计功能，系统可记录用户对数据的操作历史；
• 支持系统和应用级运行监控日志功能，符合相关日志标准；
• 支持在数据交互节点，集成数据安全；
• 数据采集与分发；
• 主数据分级授权管理;
• 支持扩展或接入安全访问策略。

主数据管理平台方案设计

• 主数据管理需求分析

主数据	主数据创建系统	主数据创建方，（集团、二、三级）	主数据使用系统	主数据使用方，（集团、二三级）	备注
组织人员	MDM	二级、三级单位申请创建维护, 分级审批	预算管理应用 预算控制应用 财务分析决策 报账管理应用 财务核心应用 合并报表 资金管理应用 合同管理应用	集团、二级单位、三级单位
会计科目	MDM	二级、三级单位申请创建维护，分级审批	预算管理应用 预算控制应用 财务分析决策 报账管理应用 财务核心应用 合并报表	集团、二级单位、三级单位
客户信息	MDM	三级单位维护申请，二级共享中心充实银行等信息	报账管理应用 财务核心应用 关联交易对账平台 资金管理应用 销售管理应用 财务分析应用 合同管理应用	集团、二级单位、三级单位
供应商（物资&燃料）	招投标管理系统 MDM	二、三级单位维护申请、审批	报账管理应用 财务核心应用 关联交易对账平台 资金管理应用 非招标采购管理应用 招标采购管理应用 采购执行应用 财务分析应用 合同管理应用 燃料管理应用	集团、二级单位、三级单位
项目信息	MDM	二、三级单位维护申请、审批	报账管理应用 财务核心应用 项目财务管理应用 预算控制应用 预算管理应用 工程管理应用 设备管理应用 研发项目管理应用 IT项目管理应用 财务分析应用 合同管理应用	集团、二级单位、三级单位
银行帐户	资金管理应用	二、三级单位维护申请、审批	报账管理应用 财务公司（网银） 财务分析决策应用	集团、二级单位、三级单位

• MDM平台实现模式建议

企业级MDM平台可通过4种典型的实现模式，不同MDM架构模式，提供不同的能力，适应不同的场景，将结合国内集团短期及长期的业务需求选用相应的MDM架构模式。

合并模式，用于报表、分析及集中主数据参考

• MDM物理存储一份合并的主数据视图
• 主数据在事件之后更新，不能保证MDM数据最新
• 数据创建分布源系统
• 不提供数据发布及订阅功能，不用于交易型应用，能够作为主数据参考

登记模式，主要用于实时集中主数据参考

• MDM仅保存主数据部分属性
• 物理存储全局ID，链接到源系统的数据及转换
• 动态组装虚拟整合主数据只读视图
• 数据创建编辑保持在源系统

共存模式，用于跨业务数据库融合及集中主数据参考

• MDM物理存储整合主数据视图
• 主数据在事件之后更新，主数据创建分布在源系统
• 发布整合后的主数据视图

集中模式，作为记录系统支持交易活动

• MDM物理存储最新整合主数据视图
• 直接支持交易型应用，包括新建及预留系统，常采用SOA架构接口保持同步
• 实现主数据集中创建管理

	合并模式	登记模式	共存模式	集中模式
描述	将现存系统的主数据合并到单一的MDM, 形成完整的黄金记录。 MDM不提供发布、订阅功能，是个只读系统 分布式管理	MDM只存储主数据的部分属性，通过标识唯一主数据ID, MDM动态组装视图，能提供实时信息	MDM与各应用系统共同管理主数据 从源系统获取并构造全局的主数据记录	MDM是唯一管理主数据的平台，包括主数据被清洗、匹配、扩充，保证主数据质量
特性	MDM不包含最新信息，缺乏弹性 对业务系统无影响 主数据质量没有改善	快速部署，实施周期短 不能解决数据质量问题 主数据平台由信息部门维护	主数据所有属性统一管理 数据完整性、质量得到保障 数据集成相对复杂，内容较多，成本较高	现有系统通过MDM服务接口更新主数拓 存储最新的整合主数据视图 降低了数据冗余 成本高、对现有系统、流程产生较大影响
适合 场景	用于支持BI或数据仓库，常作为下游MDM，提供集中式参照主数据	源系统能够较好数据质量，主数据分散、不完整。	提供集中式参照主数据，支持操作型、分析型业务	适合集中式管控，支持操作型、分析型业务

基于XX主数据建设业务需求，建议采用主数据共存模式、集中模式满足当前财务集中管控平台主数据管理需求：

• 共存模式：物资供应商、资金银行账户等信息由业务应用创建，之后同步给MDM平台，由MDM平台统一分发；
• 集中模式：组织人员、会计科目、燃料供应商、客户信息、项目信息统一由MDM平台进行创建、存储、分布管理；MDM平台提供相应的录入维护界面，负责数据的清洗、校验、匹配等相关流程的管控及规则控制。

XX集团采用统一的主数据管平台，实现主数据的统一管控，支撑主数据采集、数据验证及匹配、主数据管理及存储、主数据安全管理、主数据分析等能力。

主数据与模型定义管理

XXMDM平台应能够支持不同业务主数据管理，能够灵活依据业务的需要进行主数据模型及相关属性的定义及扩展。该能力应作为产品选型中的重要考量因素。

多业务域管理：支持财务、人员组织主数据基础上，能够快速扩展支撑物资、燃料、生产等业务主数据。

模型与关系定义：支持基于界面或导入创建数据模型，能够创建并维护多个主数据层级，并实现模型的多版本控制。

数据属性的定义与扩展：能够灵活扩展主数属性

主数据分发方案

业务数据时效性较高的系统，如报账系统，物资、燃料系统，建议采用增量分发方式；针对新建系统、主数据批量更新场景，建议采用全量发分方式。

• 增量分发：基于服务发布/订阅方式实现，由ESB负责主动推送异常处理，接口标准化程度较高，数据分发实时性较强，但服务创建工作量较大
• 全量分发：全量分发指令/请求通过ESB交互，采用ETL实现全量数据传输，减少对ESB性能的影响，主数据分发实时性较弱，对系统架构影响较小

主数据采集管理

综合考虑数据采集的延时性、对源系统产生的影响，XX集团主数据采集策略如下：

• 增量采集：对实时性要求较高的主数据采集，采用ESB集成方式，从业务系统发起，采用增量推送方式，采集至MDM平台，如财务银行账户信息
• 复制采集：对实时性要求不高、数据量较大的主数据采集，采用ETL集成方式，实现主数据复制采集，如人力资源管理系统中的人员组织主数据，首先经过ETL复制采集至MDM，再由MDM平台推送至IAM统一身份库

业务主数据管理

XX集团需要采用平台型MDM，并通过与BPM集成，支撑主数据过程管理。

	应用型MDM	平台型MDM
特性	表单、模型扩展性较差 组件之间藕合程度较高 接口较弱，二次开发能力有限	表单、模型扩展性较强， 组件可配置性强 与外部系统集成能力强
流程实现	采用MDM自带的流程、表单实现	采用与第三方BPM工具集成
方案特性	表单、界面比较单一 系统独立性强 开发量较少 难于满足后续业务主数据管理要求	充分利用BPM表单定义灵活特性 实现与业务应用界面统一，统一流程监控 开发工作量较大 扩展性强，灵活满足后续业务主数据管理需求

共存模式主数据管理

• 采用业务系统界面、流程管理主数据

集中模式主数据管理

• 采用BPM之上定义的主数据录入、维护界面
• 采用BPM提供的流程引擎，支持主数据全过程管理
• 采用MDM平台的规则、匹配能力，保证数据的质量及唯一性

MDM平台部署方案

MDM平台采用XX集团总部一级部署方式。