- 有主数据管理
1.3.2 主数据管理的两体系一工具
\qquad
主数据管理的主要内容包括 “两体系、一工具”，即主数据管理标准体系、主数据管理保障体系和主数据管理工具。
- 主数据 管理标准 体系
- 业务标准 (编码规则、分类规则、描述规则等) 体系
- 对主数据业务含义的统一解释及要求，包括主数据来源、主数据的管理级次、统一管理的基础数据项、数据项在相关业务环
境中产生过程的描述及含义解释、数据之间的制约关系、数据产生过程中所要遵循的业务规则（如按规则生成主数据唯一编码）等
- 对主数据业务含义的统一解释及要求，包括主数据来源、主数据的管理级次、统一管理的基础数据项、数据项在相关业务环
- 主数据模型标准体系
- 主数据逻辑模型：把高级的业务概念以主数据实体/属性及其关系的形态在逻辑层面上更详细的表达出来，主要表现形式是 ERD
- 主数据物理模型 (主数据的存储结构表)：业务在应用环境中对数据的统一技术要求，包括对数据长度、数据类型、数据格式、数据的缺省值、可否为空的定义、索引、约束关系等设计要素，保证数据模型中设计的结果能够真正落地到某个具体的数据库当中，并提供了系统初始设计所需要的基础元素，以及相关元素之间的关系
- 主数据资产目录
- 主数据 管理保障 体系
- 主数据管理组织
- 通过组织体系规划建立明确的主数据管理机构和组织体系，落实各级部门的职责和可持续的主数据管理组织与人员。主要包括决策层 (设立主数据领导小组，对主数据标准化工作进行统一领导，协调解决标准化相关的重大问题等)、管理层 (在领导小组的统一领导下，按照 “归口管理，分工负责” 的原则，设立主数据联合工作组，该工作组主要由主数据标准化办公室、业务组和技术组共同组成)、执行层 (主数据管理员)。
- 主数据管理制度
- 主数据管理制度规定了主数据管理工作的内容、程序、章程及方法，是主数据管理人员的行为规范和准则。
- 主数据管理流程
- 主数据管理流程是提升主数据质量的重要保障，通过梳理数据维护及管理流程，建立符合企业实际应用的管理流程，保证主数据标准规范得到有效执行，实现主数据的持续性长效治理。主数据管理流程主要包含主数据业务管理流程 (主数据全生命周期管理)、主数据标准管理流程 (通过对主数据标准的分析、制定、审核、发布、应用与反馈等流程进行设计，保证主数据标准的科学、有效、适用)、主数据质量管理流程 (对主数据的创建、变更、冻结、归档等业务过程进行质量管理，设计数据质量评价体系，实现数据质量的量化考核，保障主数据的安全、可靠)
- 主数据应用管理
- 明确管理要求：制定主数据应用管理制度规范，对主数据管理要求和考核标准等做出明确规定，并以此为依据，对主数据应用进行有效管理。
- 实施有效管理：落实管理职责 (分工明确，责任到人)；主数据核验。
- 强化服务保障：依靠便捷、可靠的主数据服务为主数据应用提供保障，包括主数据查询、主数据同步、主数据申请和主数据调用
- 主数据管理评价
- 主数据管理工具：MDM 平台 —— 多工具实现或集成
1.3.3 主数据管理的挑战
- 数据质量（即确保主数据的准确性、完整性、一致性和及时性）
- 数据质量问题可能源于数据输入错误、重复记录、不一致的数据表示等，解决这些问题需要实施有效的数据治理和数据质量管理策略。
- 数据整合
- 组织内可能存在多个数据来源和系统，它们存储了不同格式和结构的主数据，如何将这些数据整合为一个统一、标准化的视图是一个关键挑战，一般需要实施数据转换与映射技术
- 数据标准化
- 不同系统和业务部门可能采用不同的数据表示和编码方式，在主数据管理过程中需要将这些不同表示和编码统一为一个组织内的标准
- 数据安全和隐私
- 实施数据安全措施，如加密、访问控制和数据脱敏
- 持续维护和更新
- 主数据管理是一个持续的过程，需要不断地维护和更新数据，以适应组织内的业务变化
1.4 主数据与其它数据的关系
1.4.1 主数据与元数据
\qquad
主数据和元数据是两个完全不同的概念。元数据是指公司数据资产管理的基础，是关于 “数据的数据”，例如数据定义、数据类型、数据关系等，相当于数据表格中的表头信息，是一个相对客观的概念。而主数据是从元数据中挑选出来的，表征公司业务运行的关键、通用型数据，是一个相对主观的概念。它不仅仅只是表头信息，而是包括实例数据。例如公司的产品列表、客户列表、分公司地址信息等。
1.4.2 主数据和参考数据
\qquad
参照数据是一种用于支持其他数据的标准化和分类的数据，例如固定值列表、代码表、行业标准、度量单位等。参照数据在主数据管理过程中具有重要作用，因为它们有助于实现主数据的一致性和标准化。通过使用参照数据，组织可以确保主数据在不同系统和业务过程中保持一致。
1.4.3 主数据和交易数据
\qquad
交易数据也是基于元数据衍生而来的，反应公司实时业务记录的数据，同样是实例数据。主数据是相对稳定的，静止不变或者是一段时间内静止不变的数据，而交易数据则是实时变化的数据，往往描述的是某一个时间点所发生的交易行为。例如客户订单、存货跟踪、销售记录、售后事件等。一个主数据可能会跟多个交易数据有关联，而一个交易数据可能又会对主数据产生影响。举例来说，航空公司中，“客户本年度飞行里程” 是一个主数据，而 “客户每次飞行记录”，则是交易数据，当交易数据 “客户每次飞行记录” 累积到一年时，主数据 “客户本年度飞行里程” 便会产生更新。
1.4.4 主数据与分析数据
\qquad
分析数据是用于支持决策和分析的数据，通常是通过对原始数据（如主数据和交易数据）进行汇总、转换和加工生成的。主数据为分析数据提供了关键的基础信息，确保分析结果的准确性和可靠性。例如，在进行销售分析时，需要使用客户数据、产品数据等主数据来对销售数据进行分组和归类。
1.5 主数据系统与数据中台的区别与联系
\qquad
主数据系统与数据中台在某种程度上可以看作相似的概念，但它们在实际应用和定位上存在一些区别。
\qquad
主数据系统主要关注于管理和维护一组核心数据，如员工、SPU、SKU、客户、供应商、合作商等。它提供了一套数据管理工具和流程，以确保这些核心数据的准确性、完整性和一致性。主数据系统的目标是为组织提供一个集中的数据存储和管理平台，以便不同的应用系统和业务流程可以共享和使用这些核心数据。
\qquad
数据中台 (Data Center) 是一种以数据为核心的架构和运营模式，通过数据的整合、标准化和共享，实现数据资产的最大化价值。数据中台侧重于构建一个统一的数据生态系统，将企业内部和外部的数据整合在一起，通过数据的流转和共享（搭建数据仓库，提供 BI 支持，数据反哺业务），为企业提供准确、完整、实时的数据支持。
\qquad
主数据的管理是数据中台的基础之一，主数据的准确性、一致性和完整性直接影响到数据中台的效果和价值 (确保 ODS 层数据在业务系统一致)。
1.6 主数据的类型
1.6.1 配置型主数据
\qquad
配置型主数据是描述业务或核心主数据属性分类的参考信息，会在整个组织内共享使用。一般依据国际标准、国家标准、行业标准或企业标准和相关规范等，在系统中一次性配置使用的基础数据，例如国家、民族、性别等规范性表述。
\qquad
配置型主数据相对稳定，不易变化。
1.6.2 核心主数据
\qquad
核心主数据指用来描述企业核心业务实体的主数据，是企业核心业务对象、交易业务的执行主体，如产品、物资、设备、组织机构、员工、供应商、客户、会计科目等。核心主数据是企业信息系统的神经中枢，是业务运行和决策分析的基础。
\qquad
核心主数据是相对“固定”的，变化缓慢。
1.7 主数据价值
- 实现主数据全生命周期管理
- 实现主数据新增、修改(变更)、冻结(失效)、解冻(生效)、删除、归档集成等全生命周期管理，从企业数据架构层面真正实现主数据的集中管控，统一分发。
- 促进企业内数据标准统一
- 实现企业内统一编码、统一分类、统一数据标准、统一属性模板，有助于实现企业内主数据标准化管理。
- 促进企业数字化转型
- 主数据是企业的核心基础数据资产，是实现企业数字化管理的基础，为企业的数据建设建立基础，促进企业数字化转型。
1.8 主数据管理平台架构类型及其关联系统
1.8.1 架构类型
-
集中式架构 (Centralized Architecture)：
- 在集中式架构中，所有的主数据都存储在一个中心数据库中，企业各个业务系统通过 API 或其他集成技术访问和更新这个中心数据库，这种架构便于实现数据的一致性和标准化，但可能存在性能瓶颈和单点故障的风险。
-
分布式架构 (Distributed Architecture)：
- 在分布式架构中，主数据分布在多个数据库或系统中，这些数据库或系统可能位于不同的地理位置，数据通过数据集成技术 (如 ETL 或消息队列) 在各个节点之间同步，这种架构具有较高的可扩展性和容错能力，但实现数据的一致性和标准化较为复杂。
-
注册中心架构 (Registry Architecture)：
- 在注册中心架构中，主数据依然存储在各个业务系统中，而 MDM 平台只维护一个包含数据索引和映射关系的注册中心，这种架构避免了数据迁移和同步的复杂性，但需要实时查询和整合多个数据源，可能影响数据访问的性能。
-
混合架构 (Hybrid Architecture)：
- 混合架构结合了集中式、分布式和注册中心架构的优点，以满足企业的不同需求和场景。例如，对于关键和公共的主数据，可以采用集中式存储和管理；而对于分散和敏感的主数据，可以采用分布式存储和注册中心管理。
1.8.2 MDM 关联系统
具体还得看公司所处行业和发展情况
- 人力系统
- OA 系统
- 财务系统
- ERP (Enterprise Resource Planning)：企业资源计划管理
- 用于企业对企业内部资源的计划和控制管理
- SRM (Supplier Relationship Management)：供应商关系管理系统
- 用与管理企业与供应商的关系，致力于建立和维持企业与供应商之间长久、紧密合作的关系
- CRM (Customer Relationship Management)：客户关系管理系统
- 用于建立、发展和维持客户关系，专注于销售、营销、客户服务和支持等方面的管理
- PLM (Product Life Cycle Management)：产品生命周期管理
- 用于管理所有与产品相关的信息 (如零部件信息、配置信息、图文文件信息、结构信息、权限信息等）和所有与产品相关的流程
- SCM (Supply Chain Management)：供应链管理系统
- 用于管理和优化企业的供应链活动，涵盖了从原材料采购到最终产品交付的整个过程
- MES (Manufacturing Execution System)：生产过程执行系统
- …
说明：
- 白皮书内容摘编 来源：《主数据管理实践白皮书（1.0）》
- 网络摘编：一文讲透主数据管理
二、主数据功能
// toDo：功能架构图
2.1 功能划分与说明
- 主数据模型管理
- 主数据建模：模型定义、属性定义、编码规则、流程定义
- 主数据修改
- 主数据删除
- 主数据冻结
- 主数据解冻
- 主数据集成管理（涉及数据清洗、汇集、合并、完善）
- 数据库集成
- 外部 API 集成（拉取上游）
- 集成任务管理
- 集成任务发布
- 集成任务监控
- 系统 API 集成（上游推送）
- iPaaS 集成：什么是 iPaaS？
- 主数据服务管理
- 订阅服务
- 数据分发
- 查询服务
- 异常处理
- 主数据数据管理（主要是负责各个主数据的全生命周期的管理，如新增、修改、冻结、解冻等）
- 主数据审批管理（主要是负责用户针对数据操作的审批，如新增审批、修改审批、冻结审批、解冻审批等）
- 主数据监控管理（主要是对主数据的修改变更实现监控，实现主数据系统的安全性）
- 主数据标准管理
- 标准维护
- 标准查询
- 主数据基础管理
- 用户管理
- 用户组管理
- 权限管理（主要是管理用户或用户组对主数据及其字段操作权限，如查询、修改、删除等）
- 基础日志管理
- 字典管理
- …
2.2 引擎支持
- 检索引擎：负责查询服务 (For Page、For Business System)
- 分发引擎：负责主数据分发
- 流程引擎：负责主数据生命周期审批
- 监控引擎：监控主数据质量
- 缓存引擎：提升数据查询效率
三、业内主数据系统产品
3.1 国际主数据管理系统
3.1.1 SAP Master Data Governance
\qquad
SAP 的主数据管理解决方案，支持多领域的主数据管理。它提供了数据质量管理、数据一致性验证、数据合并和分发等功能。
\qquad
更多详情可以查看官网链接：https://www.sap.com/products/master-data-governance.html。
3.1.2 IBM InfoSphere Master Data Management：
\qquad
IBM 的主数据管理平台，具有数据分类、数据集成、数据清洗、数据同步和数据验证等功能。它支持多领域的主数据管理。
\qquad
更多详情可以查看官网链接：https://www.ibm.com/products/ibm-infosphere-master-data-management。
3.1.3 Informatica MDM
\qquad
Informatica 提供的主数据管理解决方案，支持多领域的主数据管理。它提供了数据一致性、数据合并、数据标准化和数据质量管理等功能。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1713005107171)]
[外链图片转存中…(img-htljEfUE-1713005107171)]
[外链图片转存中…(img-49AUFch3-1713005107172)]
[外链图片转存中…(img-hPkuP4kF-1713005107172)]
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-R7ZnC9Qn-1713005107172)]
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
1270
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
