既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
在大型组织和企业中，通常存在着大量分散存储和管理的数据，这些数据分布在各种应用系统数据库和文件中，涉及不同的业务过程和部门。基于上述情况，各个业务部门使用的核心共享数据可能存在差异，会出现数据冗余、不一致和质量问题。随着企业规模的扩大和信息化程度的提高，如何有效地管理和利用这些分散的数据成为一个重要问题。主数据系统的出现就是为了解决这一问题。
1.2 主数据定义
\qquad
主数据 (Master Data) 是指组织中具有共享性的核心数据实体（即需要跨系统、跨部门、跨流程进行共享的核心业务实体数据），如员工、SPU、SKU、客户、供应商等。
\qquad
主数据与组织机构的业务性质密切相关，因而不同的业务组织所需要的主数据存在着显著差异。对于 ERP 系统的客户，供应商、物料、BOM (Bill Of Material，物料清单)、产品、合同、订单等都应该是最基础的数据。如物料主数据：
- 编码原则：简单性、唯一性、分类合理性、可扩展性。
- 代码结构：物料分类结构通常可以分为三层，即大类、中类、小类；分类代码采取等长数字型层次结构代码方式，表示物资的大类、中类和小类
- 分类原则：一是以最稳定的本质属性或特征作为分类的基础和依据；二是通常以自然属性为第一分类原则，适当考虑用途和管理的方便；三是应满足科学性、稳定性、分类清晰、不交叉、不混淆的要求。
- 物料描述规则：
- 物料描述是区分不同物料的依据，是判断新增条目重复性的唯一判断条件，所以科学、合理的描述规则，是保证 “一物一码” 的前提条件，其对于整个信息代码编码体系的长期稳定运行至关重要。
- 物料描述模版是具体物料描述规则的定义，主要解决物料描述的规范化问题，包括物料主要自然属性的确定、取值范围和相互关系。
\qquad
主数据对企业的各个业务领域和业务流程具有重要的作用，其三个特征如下：
- 关键性【Criticality】：主数据包含组织内最关键的业务实体信息，如员工等。
- 共享性【Shareability】：主数据通常需要在组织内的多个部门、系统和业务过程中共享和使用，这要求主数据在不同的应用和业务场景中保持一致性和准确性。
- 持久性【Persistence】：主数据通常具有较长的生命周期，需要在一定时期内保持稳定，与其他类型的数据（如交易数据）相比，主数据的变更频率较低。
1.3 主数据管理
1.3.1 什么是主数据管理系统？
\qquad
主数据管理系统 (Master Data Management System) 是一种用于管理企业核心数据 (主数据) 的技术解决方案，它旨在从企业外部和企业的多个业务系统中采集和整合最核心的最需要共享的数据并进行集中管理维护，同时以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用 (包括各个业务系统、业务流程和决策支持系统等) 实现组织中重要数据的共享，从而确保数据质量、一致性和精确性，并为企业的决策和业务过程提供可靠的基础数据支持。
\qquad
由于业务发展的渐进性以及 IT 技术发展的渐进性，各大企业的业务系统从经历了从无到有，从简单到复杂，从而形成了一个又一个的业务竖井，比如 OA、HR、ERP、SRM、CRM、MES、SCM 等等。对企业来说，业务系统的构建更多是以项目为中心，从下而上的构建系统，而不是至上而下的构建系统，必然缺乏整个企业范围内的统一规划，从而使得一些需要在各个业务中共享的数据 (主数据) 被分散到了各个业务系统进行分别管理。分散管理的主数据由于没有不具备一致性、准确性、完整性。解决这一问题的根本方法就是引入主数据管理(MDM)，主数据不光指需要共享的数据，更包含需要共享的业务规则和策略。
- 无主数据管理
- 有主数据管理
1.3.2 主数据管理的两体系一工具
\qquad
主数据管理的主要内容包括 “两体系、一工具”，即主数据管理标准体系、主数据管理保障体系和主数据管理工具。
- 主数据 管理标准 体系
- 业务标准 (编码规则、分类规则、描述规则等) 体系
- 对主数据业务含义的统一解释及要求，包括主数据来源、主数据的管理级次、统一管理的基础数据项、数据项在相关业务环
境中产生过程的描述及含义解释、数据之间的制约关系、数据产生过程中所要遵循的业务规则（如按规则生成主数据唯一编码）等
- 对主数据业务含义的统一解释及要求，包括主数据来源、主数据的管理级次、统一管理的基础数据项、数据项在相关业务环
- 主数据模型标准体系
- 主数据逻辑模型：把高级的业务概念以主数据实体/属性及其关系的形态在逻辑层面上更详细的表达出来，主要表现形式是 ERD
- 主数据物理模型 (主数据的存储结构表)：业务在应用环境中对数据的统一技术要求，包括对数据长度、数据类型、数据格式、数据的缺省值、可否为空的定义、索引、约束关系等设计要素，保证数据模型中设计的结果能够真正落地到某个具体的数据库当中，并提供了系统初始设计所需要的基础元素，以及相关元素之间的关系
- 主数据资产目录
- 主数据 管理保障 体系
- 主数据管理组织
- 通过组织体系规划建立明确的主数据管理机构和组织体系，落实各级部门的职责和可持续的主数据管理组织与人员。主要包括决策层 (设立主数据领导小组，对主数据标准化工作进行统一领导，协调解决标准化相关的重大问题等)、管理层 (在领导小组的统一领导下，按照 “归口管理，分工负责” 的原则，设立主数据联合工作组，该工作组主要由主数据标准化办公室、业务组和技术组共同组成)、执行层 (主数据管理员)。
- 主数据管理制度
- 主数据管理制度规定了主数据管理工作的内容、程序、章程及方法，是主数据管理人员的行为规范和准则。
- 主数据管理流程
- 主数据管理流程是提升主数据质量的重要保障，通过梳理数据维护及管理流程，建立符合企业实际应用的管理流程，保证主数据标准规范得到有效执行，实现主数据的持续性长效治理。主数据管理流程主要包含主数据业务管理流程 (主数据全生命周期管理)、主数据标准管理流程 (通过对主数据标准的分析、制定、审核、发布、应用与反馈等流程进行设计，保证主数据标准的科学、有效、适用)、主数据质量管理流程 (对主数据的创建、变更、冻结、归档等业务过程进行质量管理，设计数据质量评价体系，实现数据质量的量化考核，保障主数据的安全、可靠)
- 主数据应用管理
- 明确管理要求：制定主数据应用管理制度规范，对主数据管理要求和考核标准等做出明确规定，并以此为依据，对主数据应用进行有效管理。
- 实施有效管理：落实管理职责 (分工明确，责任到人)；主数据核验。
- 强化服务保障：依靠便捷、可靠的主数据服务为主数据应用提供保障，包括主数据查询、主数据同步、主数据申请和主数据调用
- 主数据管理评价
- 主数据管理工具：MDM 平台 —— 多工具实现或集成
1.3.3 主数据管理的挑战
- 数据质量（即确保主数据的准确性、完整性、一致性和及时性）
- 数据质量问题可能源于数据输入错误、重复记录、不一致的数据表示等，解决这些问题需要实施有效的数据治理和数据质量管理策略。
- 数据整合
- 组织内可能存在多个数据来源和系统，它们存储了不同格式和结构的主数据，如何将这些数据整合为一个统一、标准化的视图是一个关键挑战，一般需要实施数据转换与映射技术
- 数据标准化
- 不同系统和业务部门可能采用不同的数据表示和编码方式，在主数据管理过程中需要将这些不同表示和编码统一为一个组织内的标准
- 数据安全和隐私
- 实施数据安全措施，如加密、访问控制和数据脱敏
- 持续维护和更新
- 主数据管理是一个持续的过程，需要不断地维护和更新数据，以适应组织内的业务变化
1.4 主数据与其它数据的关系
1.4.1 主数据与元数据
\qquad
主数据和元数据是两个完全不同的概念。元数据是指公司数据资产管理的基础，是关于 “数据的数据”，例如数据定义、数据类型、数据关系等，相当于数据表格中的表头信息，是一个相对客观的概念。而主数据是从元数据中挑选出来的，表征公司业务运行的关键、通用型数据，是一个相对主观的概念。它不仅仅只是表头信息，而是包括实例数据。例如公司的产品列表、客户列表、分公司地址信息等。
1.4.2 主数据和参考数据
\qquad
参照数据是一种用于支持其他数据的标准化和分类的数据，例如固定值列表、代码表、行业标准、度量单位等。参照数据在主数据管理过程中具有重要作用，因为它们有助于实现主数据的一致性和标准化。通过使用参照数据，组织可以确保主数据在不同系统和业务过程中保持一致。
1.4.3 主数据和交易数据
\qquad
交易数据也是基于元数据衍生而来的，反应公司实时业务记录的数据，同样是实例数据。主数据是相对稳定的，静止不变或者是一段时间内静止不变的数据，而交易数据则是实时变化的数据，往往描述的是某一个时间点所发生的交易行为。例如客户订单、存货跟踪、销售记录、售后事件等。一个主数据可能会跟多个交易数据有关联，而一个交易数据可能又会对主数据产生影响。举例来说，航空公司中，“客户本年度飞行里程” 是一个主数据，而 “客户每次飞行记录”，则是交易数据，当交易数据 “客户每次飞行记录” 累积到一年时，主数据 “客户本年度飞行里程” 便会产生更新。
1.4.4 主数据与分析数据
\qquad
分析数据是用于支持决策和分析的数据，通常是通过对原始数据（如主数据和交易数据）进行汇总、转换和加工生成的。主数据为分析数据提供了关键的基础信息，确保分析结果的准确性和可靠性。例如，在进行销售分析时，需要使用客户数据、产品数据等主数据来对销售数据进行分组和归类。
1.5 主数据系统与数据中台的区别与联系
\qquad
主数据系统与数据中台在某种程度上可以看作相似的概念，但它们在实际应用和定位上存在一些区别。
\qquad
主数据系统主要关注于管理和维护一组核心数据，如员工、SPU、SKU、客户、供应商、合作商等。它提供了一套数据管理工具和流程，以确保这些核心数据的准确性、完整性和一致性。主数据系统的目标是为组织提供一个集中的数据存储和管理平台，以便不同的应用系统和业务流程可以共享和使用这些核心数据。
\qquad
数据中台 (Data Center) 是一种以数据为核心的架构和运营模式，通过数据的整合、标准化和共享，实现数据资产的最大化价值。数据中台侧重于构建一个统一的数据生态系统，将企业内部和外部的数据整合在一起，通过数据的流转和共享（搭建数据仓库，提供 BI 支持，数据反哺业务），为企业提供准确、完整、实时的数据支持。
\qquad
主数据的管理是数据中台的基础之一，主数据的准确性、一致性和完整性直接影响到数据中台的效果和价值 (确保 ODS 层数据在业务系统一致)。
1.6 主数据的类型
1.6.1 配置型主数据
\qquad
配置型主数据是描述业务或核心主数据属性分类的参考信息，会在整个组织内共享使用。一般依据国际标准、国家标准、行业标准或企业标准和相关规范等，在系统中一次性配置使用的基础数据，例如国家、民族、性别等规范性表述。
\qquad
配置型主数据相对稳定，不易变化。
1.6.2 核心主数据
\qquad
核心主数据指用来描述企业核心业务实体的主数据，是企业核心业务对象、交易业务的执行主体，如产品、物资、设备、组织机构、员工、供应商、客户、会计科目等。核心主数据是企业信息系统的神经中枢，是业务运行和决策分析的基础。
\qquad
核心主数据是相对“固定”的，变化缓慢。
1.7 主数据价值
- 实现主数据全生命周期管理
- 实现主数据新增、修改(变更)、冻结(失效)、解冻(生效)、删除、归档集成等全生命周期管理，从企业数据架构层面真正实现主数据的集中管控，统一分发。
- 促进企业内数据标准统一
- 实现企业内统一编码、统一分类、统一数据标准、统一属性模板，有助于实现企业内主数据标准化管理。
- 促进企业数字化转型
- 主数据是企业的核心基础数据资产，是实现企业数字化管理的基础，为企业的数据建设建立基础，促进企业数字化转型。
1.8 主数据管理平台架构类型及其关联系统
1.8.1 架构类型
-
集中式架构 (Centralized Architecture)：
- 在集中式架构中，所有的主数据都存储在一个中心数据库中，企业各个业务系统通过 API 或其他集成技术访问和更新这个中心数据库，这种架构便于实现数据的一致性和标准化，但可能存在性能瓶颈和单点故障的风险。
-
分布式架构 (Distributed Architecture)：
- 在分布式架构中，主数据分布在多个数据库或系统中，这些数据库或系统可能位于不同的地理位置，数据通过数据集成技术 (如 ETL 或消息队列) 在各个节点之间同步，这种架构具有较高的可扩展性和容错能力，但实现数据的一致性和标准化较为复杂。
-
注册中心架构 (Registry Architecture)：
- 在注册中心架构中，主数据依然存储在各个业务系统中，而 MDM 平台只维护一个包含数据索引和映射关系的注册中心，这种架构避免了数据迁移和同步的复杂性，但需要实时查询和整合多个数据源，可能影响数据访问的性能。
-
混合架构 (Hybrid Architecture)：
- 混合架构结合了集中式、分布式和注册中心架构的优点，以满足企业的不同需求和场景。例如，对于关键和公共的主数据，可以采用集中式存储和管理；而对于分散和敏感的主数据，可以采用分布式存储和注册中心管理。
1.8.2 MDM 关联系统
具体还得看公司所处行业和发展情况
- 人力系统
- OA 系统
- 财务系统
- ERP (Enterprise Resource Planning)：企业资源计划管理
- 用于企业对企业内部资源的计划和控制管理
- SRM (Supplier Relationship Management)：供应商关系管理系统
- 用与管理企业与供应商的关系，致力于建立和维持企业与供应商之间长久、紧密合作的关系
- CRM (Customer Relationship Management)：客户关系管理系统
- 用于建立、发展和维持客户关系，专注于销售、营销、客户服务和支持等方面的管理
- PLM (Product Life Cycle Management)：产品生命周期管理
- 用于管理所有与产品相关的信息 (如零部件信息、配置信息、图文文件信息、结构信息、权限信息等）和所有与产品相关的流程
- SCM (Supply Chain Management)：供应链管理系统
- 用于管理和优化企业的供应链活动，涵盖了从原材料采购到最终产品交付的整个过程
- MES (Manufacturing Execution System)：生产过程执行系统
- …
说明：
- 白皮书内容摘编 来源：《主数据管理实践白皮书（1.0）》
- 网络摘编：一文讲透主数据管理
二、主数据功能
// toDo：功能架构图
2.1 功能划分与说明
- 主数据模型管理
- 主数据建模：模型定义、属性定义、编码规则、流程定义
- 主数据修改
- 主数据删除
- 主数据冻结
- 主数据解冻
- 主数据集成管理（涉及数据清洗、汇集、合并、完善）
- 数据库集成
- 外部 API 集成（拉取上游）
- 集成任务管理
- 集成任务发布
- 集成任务监控
- 系统 API 集成（上游推送）
- iPaaS 集成：什么是 iPaaS？
- 主数据服务管理
- 订阅服务
- 数据分发
- 查询服务
- 异常处理
- 主数据数据管理（主要是负责各个主数据的全生命周期的管理，如新增、修改、冻结、解冻等）
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
推送）
+ iPaaS 集成：什么是 iPaaS？
- 主数据服务管理
- 订阅服务
- 数据分发
- 查询服务
- 异常处理
- 主数据数据管理（主要是负责各个主数据的全生命周期的管理，如新增、修改、冻结、解冻等）
[外链图片转存中…(img-p5vqaumm-1715503149881)]
[外链图片转存中…(img-fb1IvXSD-1715503149882)]
[外链图片转存中…(img-4uPavWm9-1715503149882)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新
2435
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
