数据仓库内容分享(十三)：谈谈如何通过主数据MDM 开启数据治理之旅

最新推荐文章于 2024-04-16 07:14:07 发布

之乎者也·

最新推荐文章于 2024-04-16 07:14:07 发布

阅读量1k

点赞数 15

分类专栏：数据仓库内容分享大数据（Hadoop）内容分享文章标签：数据仓库大数据数据库

本文链接：https://blog.csdn.net/qq_45038038/article/details/135876248

版权

大数据（Hadoop）内容分享同时被 2 个专栏收录

116 篇文章 31 订阅

订阅专栏

数据仓库内容分享

20 篇文章 4 订阅

订阅专栏

什么是 MDM，什么是 MDM 实施项目的内容

映射到标准数据管理框架功能

案例研究：保险公司的 MDM 项目

小结

一个难倒许多组织的问题——如何踏上复杂的数据治理之旅？

虽然数据管理的许多不同方面都可以作为起点，但本文提出了一个论点，即主数据管理（MDM）是组织建立其初始数据治理成熟度的基础。MDM 实现可以让你将一组核心数据治理规则汇集在一起，将它们应用于有限但有影响力的范围，吸取经验教训并制定标准，然后将它们扩展到组织的其他部分。

从理论上讲，任何数据管理能力领域都可以成为数据治理之旅的起点。

从这个角度来看，首先检查典型 MDM 实现的各个方面，然后将 MDM 实现组件映射到标准数据管理框架。案例研究将用于描述一家领先的保险公司如何使用 MDM 来启动其整体数据治理之旅。

什么是 MDM，什么是 MDM 实施项目的内容

主数据管理（“MDM”）是一种功能，可确保跨组织系统、应用程序和流程的关键业务实体获得准确且一致的数据。MDM 对于为主数据属性（如客户、产品、供应商或原材料数据）提供单一、可靠的事实来源至关重要。

MDM 实施项目通常涉及以下阶段：

战略、策略和标准：描述了 MDM 解决方案和流程的预期结果，并阐明了如何管理关键主数据的规则和期望。
发现和分析：评估和了解组织内数据的当前状态，并确定需要管理的主数据实体。
数据治理框架：定义了数据治理框架，包括数据管理员、数据所有者和数据治理组织的角色和职责，以及将这些角色分配给“真实”的人员和团队，并动员治理组织。
数据建模和映射：创建数据模型，用于定义主数据实体与描述它们的属性之间的关系，并将主数据映射到使用它的系统和应用程序。
数据集成：通过创建连接器从源系统中提取数据，将其转换为符合数据模型，然后将其加载到 MDM 平台中，将数据集成从多个源构建到 MDM 解决方案中。同样，源是从 MDM 解决方案中建立的，用于使用进程和用例。
数据质量管理：定义和执行数据质量规则、计算指标、建立报告以及确定解决数据质量问题的流程。这还可能包括实体解析和相似度分析。
培训和变更管理：向利益相关者提供培训，以确保他们了解 MDM 平台及其在数据治理框架中的角色和职责。建立变更管理流程来管理对平台或框架的任何更改。
监控和维护：在此阶段，将建立持续改进流程，包括数据质量监控和报告、数据治理审计以及确定改进机会。可以遵循问题管理流程，在观察到问题时记录和解决问题。

映射到标准数据管理框架功能

当然，实施 MDM 解决方案并围绕其实施流程将推动参考和主数据维度的成熟度。但是，在上述典型 MDM 实施程序的 8 个步骤中，也存在与更广泛的数据管理框架的联系。

当然，实施MDM解决方案会直接提高参考和主数据管理维度的成熟度。但是，如果战略性地使用，它还会提高其他数据管理功能的成熟度。让我们明确地描述这些联系，以确定如何在这些能力领域建立成熟度。

数据战略

如果MDM解决方案没有附带更广泛的策略来解释为什么掌握某些关键数据至关重要，那么它就不会带来价值。如果数据战略已经到位，则可以用来加强它，但如果没有，它实际上可以作为组织的第一个明确的数据战略。
对于具体的平台实施，应在程序之前确定用例和消费流程，以确保纳入相应的需求。这可以将MDM解决方案变成真正的数据产品，并使数据办公室能够开始管理数据产品组合并跟踪数据驱动的用例以及价值创造！

数据治理

围绕 MDM 解决方案和掌握的数据，建立了基础治理，包括通过定义一组策略和标准来概述对 MDM 的一般期望，以及特定的角色和职责。这些可以增强现有的数据策略和标准，或者如果它们尚不存在，则形成第一个版本。
分配对主数据负责的数据或域所有者。可以确定数据管理员，他们被赋予了由数据所有者委派管理数据的责任。这包括确保数据适合用途的责任，并且可以创建更广泛的数据治理 RACI 矩阵，该矩阵可以在以后扩展到非 MDM 领域。因此，可以为主数据引入和定义数据治理角色，从而实现数据所有权和问责制的文化，然后可以在整个组织中扩展，从而确保数据治理实践的一致性。
定义指标是为了跟踪平台的运行状况和使用情况，并跟踪风险。这些指标可以构成第一组数据治理指标，以后可以扩展这些指标。如果还没有，可以召集一个组织来监控这些指标并解决问题。该组织可以扩展或作为新组织的灵感来源，以在以后涵盖其他数据治理主题，从而推动治理实践中的关键数据成熟度。

数据架构

对于MDM平台本身，创建了一个解决方案和数据架构。这可以通过一组明确确定的架构标准来告知。可以确定最佳做法是，任何解决方案体系结构都应以适用的数据标准为依据。实际标准本身也可以重复用于其他未来的转型计划。
只有当平台成为跨组织事务使用的可信来源时，MDM 才会带来价值。这不应该是可选的——如果有掌握的数据，那么对于任何使用这些数据的人来说，它的消费应该是强制性的。这有助于建立更广泛的参考数据架构，其中准则、原则、最佳实践和实施模式可以推动整个组织架构设计的稳健性和一致性，以及供应商和技术的合理化。
对于 MDM 解决方案，它是从哪些源数据引入以及如何使主数据可供下游使用来捕获的。记录的数据流和沿袭可以构成捕获更广泛组织数据环境的起点。

数据质量

MDM 的一个关键组件是测量和管理掌握数据的质量。没有可控的和量化的质量，就不可能有信任，没有信任，采用就会动摇。围绕业务规则的识别、可执行数据质量规则的创建以及数据质量指标的编译而构建的流程对于未来的任何数据质量工作都非常可重用。
如果使用特定工具来测量数据质量，则可以在以后将其部署到其他范围。同样，可以轻松扩展汇总主数据数据质量的仪表板，以包括非 MDM 数据的数据质量指标。
理想情况下，“数据质量源于设计”的概念被嵌入到 MDM 解决方案的架构中。也就是说，数据捕获、集成和转换的处理方式是尽可能保证数据质量的。例如，对于国家/地区字段，只允许在相应的 ISO 标准中显示选项。这建立了一种模式、最佳实践，也与任何未来的现代化和转型工作相关。
将创建一个问题管理流程，以确保掌握数据中的问题得到解决。然后，用于识别、跟踪和解决数据问题的相应过程可以跨其他数据域进行扩展。

建模、设计与元数据

如上所述，任何 MDM 解决方案都需要一个数据模型，用于定义主数据实体与描述它们的属性之间的关系，并将主数据映射到使用它的系统和应用程序。为主数据（例如客户、产品）创建的概念和逻辑模型（以及基础元模型）可以扩展为包括其他域（例如，财务、人力资源、供应链、交易）。
作为 MDM 的一部分，可以采用一种技术来设计和捕获数据模型和元数据。该技术以及使用它的过程可用于后续解决方案和领域的数据模型。
捕获的数据模型和元数据越多，未来范围的增量工作就越少。例如，如果要为客户入职流程描述数据元素并捕获元数据，如果已经在概念和逻辑级别定义了关键客户数据和相关业务需求，则花费的时间将大大减少。

数据存储和操作

在 MDM 计划期间，迫切需要考虑主数据的存储和操作要求。这种需求推动了数据存储最佳实践的实施和数据操作标准的制定。作为其中的一部分，组织将设计和实施最佳数据存储策略，同时考虑数据量、速度和多样性等因素，以及对可扩展性和弹性的需求。
为 MDM 开发的操作流程包括数据备份、归档和恢复流程可以成为其他数据管理领域类似流程的基础，从而为构建数据存储和操作的成熟度铺平道路。

集成和互操作性

从本质上讲，MDM 需要集成来自不同来源的数据，从而为集成和互操作性奠定坚实的基础。为跨不同系统整合、重复数据删除和同步主数据而设置的过程可以作为未来数据集成计划的蓝图。
在 MDM 实施过程中建立数据标准、创建通用数据模型并强制实施一致的数据格式，可以为提高系统之间的互操作性奠定基础。作为 MDM 流程的一部分构建的集成模式和实践可以在整个组织中重用，从而帮助建立成熟的集成和互操作性实践。
具体来说，有机会定义一组互操作性标准，例如，使用通用数据模型定义数据，并使用一组选定的 API 和 ETL 技术，这些标准可以在整个组织中更广泛地采用。

数据仓库与商业智能（BI）

实施良好的 MDM 程序可确保输入数据仓库的数据干净、一致且可靠。它提供了有效报告和分析所需的单一事实来源，从而为可靠的商业智能战略奠定了基础。
在 MDM 过程中建立的数据质量规则、指标和流程可用于维护数据仓库的完整性。此外，主数据强大的元数据管理可以推动高效的数据沿袭、影响分析，并提高对数据的理解，以实现 BI 目的。

数据安全

在实施 MDM 计划时，组织会为数据访问、修改和删除建立并实施特定的安全策略。这些策略在整个组织中统一应用，从而可以严格控制谁可以访问或操作主数据。
这为更全面的数据安全框架奠定了基础。在设置解决方案时，组织可以定义安全角色和职责，并开发用于敏感数据加密、匿名化和假名化的协议，从而为更广泛的数据安全成熟度构建初始块。

案例研究：保险公司的 MDM 项目

作为 MDM 如何推动更广泛的成熟度的实际说明，让我们考虑一个涉及我有机会与之合作的领先保险公司的案例研究。该公司是其主要市场市场份额排名前三的公司之一，它启动了一个项目，为其客户数据实施 MDM 解决方案。

作为该计划的一部分，我的职责是确保由另一家供应商处理的技术解决方案不仅得到实施，而且在企业内真正投入使用。这包括建立正确的流程、记录这些流程、创建强大的数据模型、开发数据质量解决方案和仪表板，以及元数据模型和基本元数据管理流程。我们还确定并建立了关键角色，例如数据所有者、数据管理员和数据质量分析师。

在实际应用方面，本案例中主数据的主要目标消费者是公司的营销部门，用例包括客户细分和营销活动管理。在实施 MDM 之前，由于难以协调来自各种来源的客户数据，该公司甚至难以实现基本的 360 度客户视图。

实施一年后，成功的业务影响是显而易见的。通过整合且可靠的客户数据视图，营销团队能够辨别参与一条业务线的客户是否也拥有来自另一条业务线的产品。这促进了更深入的、数据驱动的客户细分方法，取代了以前基于规则的分析。新访问的数据使预测建模能够确定“下一个最佳行动”，并允许在更加个人化的层面上激活营销活动。

一个意想不到但显着的好处是改进了对联系人数据的管理，例如电子邮件地址、电话号码和实际地址。通过将来自各种输入渠道如呼叫中心、实体分支机构或客户电子邮件的更新集成到 MDM 解决方案中，此信息的所有使用者都可以访问最新的详细信息。因此，通过书面营销材料或电话联系目标收件人的成功率提高了20%以上。根据该团队的估计，他们在营销活动方面的投资回报增加了多达 50%。