随着数据源的增加,准确、及时的信息需求就会变得越来越迫切。保持数据定义是最新的,并一致地管理数据变得越来越难,企业各部门都使用相同的数据更是难上加难。为了应对这一挑战,企业主数据管理应运而生。本文就带您一起了解一下如何做好主数据管理项目落地。
什么是主数据?
主数据(Master Data)是在多系统集成应用的背景下,被多个信息系统(或功能模块)共用的基础性标准化的数据。主数据是对企业核心业务而言非常重要的单一来源,并且具有唯一性、共享性、稳定性、有效性。换言之,主数据支撑业务流程和事务。
其实主数据理解起来非常简单,比如记账,“谁,在哪个店里,买了什么东西,一共多少钱”。这句话里所有非数值的,都是主数据,买东西的人、卖东西的店、产生交易的商品等等都是主数据。常见的主数据包括:供应商、客户、物料、人员、部门、项目等。
主数据,带个主字,英文是Master,字面就显示出这种数据的地位很高,非常的重要,为什么这么重要呢?因为主数据管理的对象是企业核心业务实体的基础业务数据,比如客户、供应商、员工、组织架构、总账科目、成本中心、利润中心、物料、设备资产、工作中心,组件BOM等等,如果这类数据没有管好,多个系统之间数据交换的成本就会非常大(需要各自维护,需要翻译,……),如果没有管好主数据,系统间交换的数据就会发生混乱并产生错误,严重影响系统的正常使用。
也就是说,主数据需要在各个系统间、各个业务部门间共享并持续保持一致,是企业保证各个系统的应用质量、实现跨系统业务协同和决策支持的基础。主数据是否管理与治理好,是未来企业数字化转型是否成功的基础保障。
主数据管理内容:两体系一工具
主数据管理的主要内容包括“两体系、一工具”,即主数据管理标准体系、主数据管理保障体系和主数据管理工具。其中,主数据管理标准体系是主数据管理工作的重中之重,主数据管理保障体系为主数据管理保驾护航,主数据管理工具确保主数据管理有效落地。
(一) 主数据管理标准体系
主数据管理标准体系是主数据管理工作的重中之重,通过主数据标准化,才能为实现部门和系统间的数据集成和共享,打通企业横向产业链和纵向管控奠定数据基础。主数据标准管理体系包含业务标准(编码规则、分类规则、描述规则等)、主数据模型标准。主数据标准管理体系在建设梳理的过程中,一般会衍生出一套代码体系表或称主数据资产目录。
主数据业务标准是对主数据业务含义的统一解释及要求,包括主数据来源、主数据的管理级次、统一管理的基础数据项、数据项在相关业务环境中产生过程的描述及含义解释、数据之间的制约关系、数据产生过程中所要遵循的业务规则。主数据业务规则包含主数据各数据项的编码规范、分类规则、描述规则等。
编码规则:主数据代码的编码规则。例如:物料代码采取采用“1”开头的8位无含义数字流水码。
分类规则:依据相关业务环境和管理需求形成分类规则。例如:物料分类根据物料的自然属性及所包括范围的大小,将物料分为大、中、小三类。
描述规则:又称命名规范。例如:物料描述规则具体物料描述规则的定义,主要解决物料描述的规范化问题。
主数据模型标准包含:主数据逻辑模型和主数据物理模型。
主数据逻辑模型:将高级的业务概念以主数据实体/属性及其关系的形态在逻辑层面上更详细的表达出来,主要的表现形式是ERD(实体关系图)。
主数据物理模型又称主数据的存储结构表。业务在应用环境中对数据的统一技术要求,包括对数据长度、数据类型、数据格式、数据的缺省值、可否为空的定义、索引、约束关系等设计要素,保证数据模型中设计的结果能够真正落地到某个具体的数据库当中,并提供了系统初始设计所需要的基础元素,以及相关元素之间的关系。
(二) 主数据管理保障体系
主数据管理需要有配套的管理保障体系保驾护航。通过主数据管理组织进行统一领导,确定主数据指导思想、目标和任务,协调解决主数据管理相关的重大问题。需要数据标准化的归口管理部门,负责标准化的统一规划、综合管理;需要业务组由相关事业部和职能部门组成,并通过配套主数据相关制度、流程、应用管理和评价为主数据管理保驾护航。
主数据管理保障体系包括主数据管理组织、制度、流程、应用及管理评价五部分。
1.主数据管理组织
主数据管理组织主要包括企业内各类主数据的管理组织架构、运营模式、角色与职责规划,通过组织体系规划建立明确的主数据管理机构和组织体系,落实各级部门的职责和可持续的主数据管理组织与人员。
典型的主数据管理组织主要包含以下三层组织架构:
(1)决策层:设立主数据领导小组,一般由企事业单位信息化领导小组成员组成,对主数据标准化工作进行统一领导确定指导思想、目标和任务,协调解决标准化相关的重大问题。
(2)管理层:在领导小组的统一领导下,按照“归口管理,分工负责” 的原则,设立主数据联合工作组,该工作组为常设组织,主要由主数据标准化办公室、业务组和技术组共同组成。
(3)执行层:包括企业总部和下属企业专职及兼职主数据管理员组成。负责主数据在本单位的贯彻落实、应用检查工作;负责本单位主数据需求的收集、审核、提报工作;负责本单位主数据的培训、宣贯和日常维护等工作。
2.主数据管理制度
主数据管理制度规定了主数据管理工作的内容、程序、章程及方法,是主数据管理人员的行为规范和准则,主要包含各种管理办法、规范、细则、手册等。可参考的主数据管理制度主要包含:《主数据管理办法》、《主数据标准规范》、《主数据提案指南》、《主数据维护细则》、《主数据管理工具操作手册》。
3.主数据管理流程
主数据管理流程是提升主数据质量的重要保障,通过梳理数据维护及管理流程,建立符合企业实际应用的管理流程,保证主数据标准规范得到有效执行,实现主数据的持续性长效治理。主数据管理流程可以以管理制度的方式存在,也可以直接嵌入到主数据管理工具中。
主数据管理流程主要包含以下三个方面的内容:
(1)主数据业务管理流程:对主数据的申请、校验、审核、发布、变更、冻结、归档等进行全生命周期管理,满足主数据在企业深入应用的不同管理需求。
(2)主数据标准管理流程:通过对主数据标准的分析、制定、审核、发布、应用与反馈等流程进行设计,保证主数据标准的科学、有效、适用。
(3)主数据质量管理流程:对主数据的创建、变更、冻结、归档等业务过程进行质量管理,设计数据质量评价体系,实现数据质量的量化考核,保障主数据的安全、可靠。
4.主数据应用管理
主数据应用管理是保障主数据落地和数据质量非常重要的一环。主数据应用主要包含三部分内容:明确管理要求、实施有效的管理、强化保障服务。
(1)明确管理要求:制定主数据应用管理制度规范,对主数据的应用范围、应用规则、管理要求和考核标准做出明确规定,并以此为依据,对主数据应用进行有效管理。
(2)实施有效管理:主数据应用点多、面广、线长,管理难度很大,要实施有效管理,就必须要有健全的制度和可行的手段,在关键控制节点实施重点管理。
(3)强化服务保障:依靠便捷、可靠的主数据服务为主数据应用提供保障,包括主数据查询、主数据同步、主数据申请和主数据调用。有条件的单位可将主数据服务深入到业务流程,从业务端发起请求,驱动主数据管理和服务,形成管理和应用的有机协同。
5.主数据管理评价
主数据管理评价是用来评估及考核主数据相关责任人职责的履行情况及数据管理标准和数据政策的执行情况,通过建立定性或定量的主数据管理评价考核指标,加强企业对主数据管理相关责任、标准与政策执行的掌控能力。
主数据管理评价指标从管理标准、数据认责和数据政策三个角度考虑,
由数据所有人与数据认责人共同确定,定义一系列的衡量指标和规则,分一方面落实和检查主数据的应用情况,另一方面考察和评估主数据管理、主数据标准、主数据质量的执行情况。
为了进一步保障主数据管理工具成功实施和有效运行,必须做到组织、职能、责任、人员的四落实。制定涉及到主数据管理的各个环节、组织、人员的一套绩效考核办法,明确各组织部门的职责与分工。
主数据项目实施要点与步骤
下面和大家分享一个主数据项目管理的实施框架。这个框架其实分成4大部分,第一个就是现状分析与评估,第二个就是体系的规划,第三个就是实施方案,最后就是一个平台落地部署的工作。
在具体执行过程中,主数据项目总体上遵循常规项目6大步骤:启动、计划、需求分析与设计、实现、测试验收、售后运维。这里我们主要重点介绍下实现阶段的内容,测试验收和售后运维就不多做讲解。
1.启动阶段
启动阶段主要包括识别项目目标、组建项目团队、召开项目启动会。
识别项目目标就是要做一个主数据识别,主数据识别可以从两方面去考虑,第一个就是通过一些已知的分析维度,以及业务影响程度等,还有数据共享程度比较高的,或者说数据需求比较迫切的,我们都可以将其纳入主数据范围。除此以外,还可以通过一些成熟的工具做一些分析,通过这样的工具去对接业务系统,从而识别企业到底有哪些主数据,然后这些数据分布在哪里。
第二个就是组建项目团队,如下图所示,项目管理也是这样去组建团队的,比如项目领导小组有项目总监、项目经理,还有一些各种不同的角色的实施人员,除此以外,还配备一些专家的团队做支持。
2.计划阶段
计划阶段我们主要关心两部分内容,第一是实施落地的工作,第二是主数据集成开发的工作。实施落地工作按照我们前文中说的框架体系去做即可。
这里重点说一下集成开发这块的工作。我们在需求调研阶段,以及咨询规划阶段,了解了业务主数据来源于哪些系统,最后用于哪些系统,以及分发到哪些系统;以及我们的平台如何与业务系统做对接,是用表对接,还是接口对接;同时整个实施过程中还要做一些并行的工作,因此前期要去了解收集这样的一些信息,这样才能让整个项目的进行的比较顺利。
3.需求与设计阶段
这一阶段也称为需求调研阶段,我们主要是通过访谈问卷,或者面对面的交流以及一些数据抽取的手段去获取企业主数据的信息和现状。
除了需求调研,还有一个重要的板块是组织架构和管理制度设计,这里采取三层的架构——决策层、管理层、执行层。
另外主数据的建设并不是IT部门或者信息科技部门就能决定的,正如前文中提到的主数据含有业务实体属性,需要在业务系统里被使用,因此一定需要业务负责人的参与,一起来共同推进。
而对执行层来说,主要是需要和业务部门一起定义数据的标准模型分类,共同推进。当然在主数据平台管理过程也需要信息管理员来对数据进行审批等,以上这些角色都是在整个组织架构建设时提前定义好的。
4.实现阶段
在具体的实现阶段有10项工作要去做,这些工作可以并行考虑,包括数据标准化,分类编码属性管控、流程整合以及切换策略等等,下面我们具体来看看。
(1)主数据标准化体系
以物料为例,完整的物料标准化体系主要包括两大部分内容,一是物料数据标准的制定,二是支撑物料数据标准化管理相关的组织机制与技术平台等基础能力的建设。在此体系下确保逐步改善物资数据质量,最终实现标准化。
(2)分类设计原则
分类设计的原则主要有4点,第一是不重不漏;第二是粗细颗粒度要合理;第三是要满足业务需求;第四是要符合行业习惯。
这里有一个很重要点是,在整个分类设计的过程中,实施人员要反复与客户进行确认。因为一旦分类没有做好,后续可能导致大量的重复录入,并产生很大的影响。这里有一个分类的示例,大家可以参考下:
(3)编码设计
编码设计也有一些原则需要去遵守,比如编码要有全局性,唯一性、适度性、灵活性、扩展性等。对于唯一性与扩展性,换句话说,当一些新的物料数据进来以后,我们能方便添加更多的编码进来,而此时的编码也需要是唯一的,也就主数据编码只能对应一个确定的实体对象。
这里的编码通常有三种方式,即顺序码、层次码、组合码,他们各有优缺点,如图所示:
编码制定的过程也是需要进行大量的讨论和确认,才能形成一个好的编码方案。在现实中,正是因为企业编码不统一、造成了后续采购以及存储等一系列问题,所以编码方案一旦确定出来,实施人员就需要与客户的高层进行确认。如图所示的编码结构示例,它是一个组合码。
(4)属性标准梳理
属性标准梳理我们可以去参考一些标准,比如外部的国际标准、国家标准;业务层面上的行业标准和制度要求等;另外在进行属性梳理时,我们HIA可以从源系统中参考数据字典,查看一些代码表;最后也可以借鉴一些好的实践经验与成果来进行属性标准的梳理。
在进行主数据属性标准梳理时,我们可以从业务标准、技术标准、管理标准三个层面来进行。比如业务层面,需要理解属性到底属于哪一个分类,属性名称是什么,有怎样的业务规则;技术层面,可以定义属性,以及类型长度精度等;管理层面,可以梳理谁来创建,谁来使用,谁在维度等,提前将其确定出来,方便后续制定这样的制度,如下图所示是一个属性标准的示例。
(5)管控流程设计
数据之所以会存在很多问题,以及需要推翻重建,很多时候是在业务系统建设过中没有进行流程审核以及校验。因此我们在进行主数据管理过程中,需要重视管控流程设计。
比如,当定义了两种模型,在模型的新增、变更和失效时,是否有流程做一些控制;在进行数据层面的管理工作时,是否有流程能能监测数据的变更、冻结或者失效。另外,我们可能还会涉及一些质检和审批,在审批没有问题,才能去做分发。
(6)历史数据整合、清洗
主数据清理策略主要分成6个步骤,分别是数据接入、初步标记、分类清理、先分后合、整理清洗、检查反馈。
①第一步:数据接入,通过接口或者ETL工具去接入历史的主数据;
②第二步:看数据存在什么问题,是否有一些属性没有填写,或者说分类不对需要做初步的标记;
③第三步:如果存在问题,就需要将分类标记的数据分配到不同的业务部门进行清洗,由于业务人员来进行整理;
④第四步:先分后合,对分类清理完的数据进行合并汇总检查;
⑤第五步:整体清理,按照整体业务逻辑进行清理,如果数据量比较大,可以借助工具进行批量处理,并将处理完成的数据做好整合;
⑥第六步:检查反馈。
(7)数据切换策略
这里提供三种切换的策略,第一种是完全采用主数据管理平台;第二种是通过映射实现与旧数据的对接;第三种是通过映射和逐步数据切换的方式开展,逐步实现所有系统都使用统一的主数据,具体的优缺点和适用场景如图所示。
(8)数据生产与维护策略
在数据生产和维护方面有两种策略,一种是集中式,即所有的数据新增、变更、删除以及管理全过程都在主数据管理平台上来进行,统一的管理,统一的分发;另一种是分布式,即通过在某个单一的业务系统里去对某一类的主数据,进而做新增、变更与删除,然后主数据平台及时去同步业务系统的数据,并向企业业务系统去做分发,这时的主数据平台就起到一个中间桥梁的作用。
分布式管理比较适合于单一可信的来源,且不受其他业务系统影响的主数据,比如人力数据,OA系统在各自的系统里维护的比较好,数据质量也比较高,就比较适合分布式的管理方式。
(9)主数据分发策略
主数据的分发方式有三种,第一种是通过接口对接与分发,当企业业务系统可以做一些改造,可以对接ESB。这种方式是由业务系统主动获取数据,适用于业务系统对主数据实时性要求比较高的情况。
第二种是通过交换任务分发,比较适合批量数据的获取,比如前期主数据管理管理维护好以后,通过批量的方式把数据推送到某个业务系统中去。这种方式支持定时任务执行,适用于业务系统需要批量获取主数据的情况。
第三种是通过文件分发,即通过离线文件的方式分发数据,适用于系统繁忙情况下的批量分发。如图为亿信华辰的主数据管理平台的分发效果,提供了大量的接口,还支持自定义接口,以及多个表关联后的数据再做分发等,都能借助平台实现,除此以外,我们还有分发的配置,支持接口库表,同时还有一些数据集成的工具,可以设置一些任务,以任务的方式来做分发。
(10)主数据集成
上图是一个主数据集成的示例,就是主数据管理平台还可以通过工具与各个业务系统去做对接集成,包括主动的方式去推数据,也包括被动的方式去拉数据,至于怎么去做,同步或者异步都可以,还可以做日志的预警。
推荐阅读:
被 GPT-4 Plus 账号价格劝退了!
世界的真实格局分析,地球人类社会底层运行原理
不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)
企业IT技术架构规划方案
论数字化转型——转什么,如何转?
华为干部与人才发展手册(附PPT)
【中台实践】华为大数据中台架构分享.pdf
华为的数字化转型方法论
华为如何实施数字化转型(附PPT)
华为大数据解决方案(PPT)