没有主清单属性_主数据到底是什么?史上最简版介绍来了

4c7cbf1dd026a39e08ba4700bcefe552.png

导读:除去以上功能外,MDM其实还有很多相关的专业性功能,比如:元数据、接口适配、数据交互监控、界面和流程定义、数据清洗等。

先看示例,在没有对主数据进行管理的情况下是这样的:

2b6ed1f8eed1cc6064ba50f2ef8baf81.png

比如在费用控制系统中向供应商海康威视公司支付货款,费控系统中该供应商的编码是PAYV000345,完成付款后,费控系统需要向ERP系统传递付款的会计凭证,但是,ERP系统中海康威视公司的编码是ERP00000123,如果费控系统直接把PAYV000345传给ERP系统,ERP系统是不能识别的,那么就需要建立一种对照表,把PAYV000345翻译为ERP00000123才可以。

在这种情况下,费控系统和ERP系统都需要有管理员维护各自系统的供应商数据(维护两次),同时还得维护两个系统之间供应商数据的对照关系,应用成本比较高,很不方便。这还仅仅是两个系统之间的情况,如果系统更多,这种使用方式就太复杂了。

于是就有了如下的新办法:

9b284f3094e3ab2ee4bd0c675c83c03b.png

在一种叫做主数据管理系统(MDM)的软件中,由该系统的管理员统一维护供应商数据(维护一次),并且统一编制唯一性的编码(如海康威视公司的主数据编码是10002608),然后MDM再把这个供应商主数据推送给费控系统和ERP系统,这样所有系统中的海康威视公司编码都是统一的10002608,系统之间不再需要做编码的翻译,直接使用即可,大大的简单化和标准化了供应商这类数据的应用。

现在可以引入主数据这个概念了,在应用层面讲,主数据( Master Data )是在多系统集成应用的背景下,被多个信息系统(或功能模块)共用的基础性标准化的数据,常见的主数据包括:供应商、客户、物料、人员、部门、项目等。

展开说明一下,首先,数据,带个字,英文是Master,字面就显示出这种数据的地位很高,非常的重要,为什么这么重要呢?因为如果这类数据没有管好,多个系统之间数据交换的成本就会非常大(需要各自维护,需要翻译,……),如果没有管好主数据,系统间交换的数据就会发生混乱并产生错误,严重影响系统的正常使用。

为更好的管理主数据,主数据管理系统(Master Data Management,即MDM)这类软件就出现了。

对常规的终端用户而言,MDM的核心功能主要有三个方面:

  1. 保障主数据的规范性和唯一性。按规则和流程规范管理主数据,比如规定主数据名称要使用营业执照上的名称,社会统一信用代码、国别地区等必填,按名称、信用代码等条件校验避免重复录入,系统自动按规则统一产生唯一性编码,主数据要经流程审核后方能生效等。
  2. 主数据的集中管理。主数据全部在MDM中产生或者受控(其他系统产生的主数据要符合MDM的规则才能进入MDM),在MDM系统中可以由专岗集中管理所有主数据,保障来源唯一从而避免歧义。
  3. 主数据的自动分发。提供分发和订阅功能,能够通过配置把主数据自动分发给相关系统,让多个系统可以方便的使用到统一规范的主数据;也可以自动的接收外部系统产生的主数据,经MDM管理后再自动分发出去,而不用数据源系统自己向多个系统分发。

除去以上功能外,MDM其实还有很多相关的专业性功能,比如:元数据、接口适配、数据交互监控、界面和流程定义、数据清洗等。这些都是系统建设和运维人员的工作内容。

以下为扩展的进阶内容

(包括:MDM厂商介绍、SAP ERP系统中的主数据,以及相关内容)

因为MDM很重要并且很常用,相关的产品就比较多。

大型国际性厂商SAP、Oracle、IBM等都有自己的产品,如下图就是2018年Gartner公司发布的MDM魔力象限,对相关的MDM做了一种评价。

c4da4edaefddb59f86c407638cbabe9b.png

在国内,一些综合性的信息化厂商很多都有自己的MDM产品,比如金蝶、用友、浪潮、汉得、英诺森等;也有把主数据相关领域作为核心业务的MDM专业性厂商,比如三维天地等;还有一些某类专业领域的厂商,比如项目管理信息化专业厂商易贝恩等。

这些厂商的MDM产品各有千秋,但核心功能基本一样,所以MDM基本是通用的,可用于各类系统集成的信息化项目。总的来说,MDM产品的可配置性越强越好,尽量减少代码开发,减少每个MDM项目的个性化,这样的MDM相对更稳定、更通用,上线时间更短,更易运维和扩展。同时,因为主数据的数据量往往很大,那么MDM对数据的处理性能也很关键,要能满足大规模数据量的处理要求。此外,MDM系统中内置的标准编码也是一个很大的价值点,比如已内置某行业的物料分类编码表(可能数万条数据),那么在实施该行业的主数据项目时就会更有力。

而关于MDM系统建设项目,需要格外说明一下,项目中系统建设本身只是一个部分,而且技术方面较为常规。更为重要的是对主数据分类、各种规则等内容的梳理和设计,这一点往往才是MDM项目最有挑战的地方,需要投入大量的财力、人力和时间,需引起高度重视。

刚才讲的是常规主数据的范畴(即系统与系统之间的),而比如SAP ERP系统内部,也有主数据的概念,首先这种主数据的重要特征也是被多个地方共用,只是这里突出的是在ERP系统内部被多个模块的共用(也可以通过MDM被外部共用)。

而类似于SAP ERP内部的主数据,除了唯一性、共用性等特性之外,这种主数据往往是承载了某类业务的关键内容,以主数据为工作对象,相关业务要通过对主数据的操作完成处理。典型的,会计科目就是财务总账模块的主数据,科目主数据除了常规的科目编码和名称外,还有很多个属性,比如是资产或是负债还是损益类科目,比如科目货币是什么,比如是否允许手工过账,等等。这些属性将决定会计科目在相关业务下过账的行为(比如体现对应收应付的不同要求)和记账结果(比如按本位币还是外币更新余额表)。

再比如SAP ERP中的物料主数据,因为物料将被采购、库存、生产、销售等多个模块共用,并且各个模块之间还有业务逻辑关系,所以物料主数据承载的操作内容很多,使得相关属性也多,在维护物料主数据时需要填写的内容就显得比较多了。

17d23f3e9b01db1a41aa2c3abe273e87.png

说明:SAP ERP物料主数据在某物料类型下有15个页签,每个页签下又有若干个属性

如果在SAP ERP中直接录入物料主数据,如上,用户体验可能不是太理想,所以在一些信息化建设项目上,采用MDM系统来输入物料主数据,MDM系统通常可以提供更好的界面和操作体验,而且只关注需要填写的内容,从这个角度上看,MDM还起到了改善用户体验的作用(还减少了采购ERP系统授权的数量,MDM用户授权的价格通常比ERP的低很多很多)。

如下图,用户只需要填写界面中的内容,而不用在SAP ERP的多个页签中挑选需要填写的内容,一定程度上改善了物料输入的工作体验。

a782c2e25d2c7376a3b37426d1132c69.png

最后,主数据与信息技术的其他领域一样,都有极其丰富和极有深度的知识,如果希望了解更多主数据领域的技术和方案,市面有一些书籍,这里推荐《主数据驱动的数据治理:原理、技术与实践》一书,这本书由主数据管理专业厂商北京三维天地科技有限公司的王兆君、曹朝辉等专家编著,内容全面详实,很值得学习和研究。

数据治理-数据⽣命周期管理-⼤数据整合 批量数据的整合 传统的数据整合⼀般采⽤ETL⽅式,即抽取(Elect)、转换(Transfer)、加载(Load),随着数据量的加⼤,以及数据平台⾃⾝数据处理 技术的发展,⽬前较为通⽤的⽅式为ELT模式,即抽取、加载、转换。 1. 数据抽取 业务类系统或流程类系统负责数据的采集,但哪些数据需要整合到数据平台,则需要根据数据应⽤的需求进⾏定义。在进⾏数据抽取 和加载之前,需要定义数据系统数据平台之间的接⼝,形成数据平台的接⼊模型⽂档。 数据的抽取会涉及安全与隐私问题,在进⾏抽取数据的调研时,也会涉及授权问题,源系统数据结构,以及每张报表每个字段的业 务含义的明确,样本数据的采集,都需要得到相应系统的所属部门的授权。在进⾏数据抽取之前,需要最后的授权。 源系统数据分析是数据整合最为关键和重要的⼀步,需要确认源系统中的数据结构、数据含义,与⽂档及业务⼈员理解的是否⼀ 致,是否存在偏差。同时,也需要对源系统数据数据质量进⾏分析,了解数据质量状况,并出具数据质量分析报告。通过上述两种分析, 能够识别出数据现状与业务期望之间的差别,该差别应反馈给需求提出⽅,需求提出⽅应根据数据的状况,调整需求和业务期望 从源系统中抽取数据⼀般分为两种模式:抽取模式和供数模式。从技术实现⾓度来将,抽取模式是较优的。即由数据平台通过⼀定的 ⼯具来抽取源系统数据,但是从项⽬⾓度来讲,建议采⽤源系统供数模式,因为抽取数据对源系统的影响,如果都有数据平台项⽬来负 责,有可能导致以下后果:源系统出现的任何性能问题都可以推诿到数据平台戳去⼯作上;源系统发⽣数据结构的变更后不通知数据平台项 ⽬,导致抽取出错;源系统不对数据质量负责,要求数据平台项⽬负责。以上的三种情况会对数据平台项⽬带来重⼤的风险,最终导致数据 平台项⽬失败。 2. 数据加载 传统的数据平台建设在完成数据抽取后,⼀般由ETL⼯具进⾏数据转换,即将数据结构模型转换为数据平台的数据结构模型,⼤数据 并⾏技术出现后,数据库的计算能⼒⼤⼤加强,⼀般都采⽤先加载后转换的⽅式。 数据在加载过程中,应该对愿数据进⾏数据⽐对。以确保抽取加载过程中的数据⼀致性,同时设置⼀些基本的数据校验规则。对于不 符合数据校验规则的数据,应该退回源系统,由源系统修正后重新供出。通过这样的⽅式,能够有效地保证加载后的数据质量,在完成数据 加载后,系统能够⾃动⽣成数据加载报告,报告本次加载的情况,并说明加载过程中的源系统数据质量问题。 在数据加载过程中,还需要注意数据版本管理,传统的数据仓库类平台需要保留不同时间点的历史数据,⼀般采⽤数据戳⽅式,⼤数 据类应⽤,也建议采⽤这种⽅式,⽬前,⼤数据平台在数据库结构中⾃带版本管理功能,如果得到有效的利⽤,将⼤⼤地减少开发⼯作量, 并提升系统的效率。 3. 数据转换 数据转换分为四种类型:简单映射、数据转换、计算补齐、规范化。 简单映射:就是在源和⽬标之间⼀致地定义和格式化每个字段,只需在源和⽬标之间进⾏映射,就能把源系统的特定字段复制到⽬标表的特 定字段。 数据转换:即将源系统的值转换为⽬标系统中的值。最典型的案例就是代码值转换,源端系统中直接以"F","M"来表⽰性别,在⽬标 系统中采⽤"男"和"⼥"来表⽰,这就需要字段转换 计算补齐:在源数据丢失或者缺失的情况下,通过其他数据的计算,经过某种业务规则或者数据质量规则的公式,推算出缺失的值,进⾏数 据的补齐⼯作。 规范化:当数据平台从多个系统中采集数据的时候,会涉及多个系统数据,不同系统对于数据会有不同的定义,需要将这些数据的定义整 合到统⼀的定义下,遵照统⼀的规范。 4. 数据整合 在数据整合到数据平台之后,需要根据应⽤⽬标进⾏数据的整合,将数据关联起来并提供统⼀的服务。 传统的数据仓库说将数据整合为不同的数据域。针对不同的数据域,建⽴起实体表和维表,基于这些实体表和维表,为不同的应⽤提 供多维分析服务。 为⽀持统⼀的指标运算,⼀些数据仓库也建⽴了统⼀计算层,统⼀对于基于数据仓库上的各类指标进⾏统⼀计算,并提供给各集市进 ⾏展⽰ 为⽀持数据分析与挖掘应⽤,⼀些数据仓库⽣成⾯向客户、⾯向产品、⾯向员⼯的宽表,⽤于进⾏数据挖掘⼯作。 实时数据的整合 ⼤数据的⼀个重要的特点就是速度,⼤数据时代,数据的应⽤者对于数据的时效性也提出了新的要求,企业的管理者希望能够实时地 通过数据看到企业的经营状况;销售⼈员希望能够实时地了解客户的动态,从⽽发现商机快速跟进;电⼦商务⽹站也需要能够快速地识别客 户在⽹上的⾏为,实时地做出产品的推荐。 1. 实时数据的抽取 在实时数据抽取的过程中,需要注意⼀点,就是必须实现业务处理和数据抽取的松耦合。业务系统要职责是进⾏业务的处理,数 据采集的过程不能影响业务处理
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值