【数据治理案例分享】论工业企业物料数据质量管理方法

文章摘自【2020数据质量管理标杆奖项征集作品精选】，本文荣获DQMIS2020第四届数据质量管理国际峰会之“2020数据质量创新论文奖”，论文作者：王建峰。

 

01 物料数据质量管理现状

• 数据数据存在的质量问题

本文谈到的物料是指企业中所有物资、产品和服务的总和。从某种意义上说，物料是工业企业所占价值最大的一部分。物料数据涉及到企业的设计、研发、采购、仓储、生产、销售、物流、财务等生产经营管理决策的整个价值链的各个环节。因此，物料数据质量的好坏就将影响到采购的合理性、生产的及时性、管理的精确性以及决策的科学性。

在工业企业，物料的质量主要表现在以下几方面：

• 唯一性：物料数据质量的唯一性问题主要体现在物料的一物多码、同码异物现象。

• 完整性：物料数据质量的完整性问题主要体现在物料的关键属性在采购部门、生产部门、仓储部门等业务部门均不全面。

• 准确性：物料数据质量的准确性问题主要体现在物料的关键属性不准确，比如长X宽准确的描述是30mmX40mm，而在不同系统存在3X4、4X3、40X30等现象。

• 一致性：物料数据质量的一致性问题主要体现在物料的多系统相同物料描述不一致。

• 有效性：物料数据质量的有效性问题主要体现在物料的属性值不可用，比如参照的国家标准、行业标准变化了，企业中的应用部门没有及时调整，导致数据不能有效使用。

• 及时性：物料数据质量的及时性问题主要体现在物料不能及时维护，每个系统的物料差别比较大。

图1  数据质量问题的影响

物料数据质量问题对业务经营和企业健康发展将产生严重影响，如图1所示。比如库存量准确度低、结算发生错误、库存资金占有量大、财务审计不合规、采购计划不准确、企业决策失误、客户满意度低等。这些将严重导致企业的精细化管理程度低、物料占有成本巨大、核心竞争力不足和难以持续发展。

物料数据问题产生的原因

在工业企业中，物料数据质量问题按照产生的来源可以分为标准问题、技术问题、流程问题和管理问题四个方面，如图2所示。

 

图2  数据质量产生的原因

 标准问题

标准类问题是由于对物料数据本身的描述标准缺乏，造成理解及其度量的偏差从而出现的数据质量问题。产生这部分数据质量问题的原因主要有：物料元数据描述及理解错误、物料主数据标准缺失、物料属性的特征值不规范、物料的计量单位不统一等。

 技术问题

公安部在16个城市试点基础上，在全国推广机动车检验标志电技术类问题是指由于物料数据处理的各技术环节的异常造成的数据质量问题，它产生的直接原因是技术实现上的缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等。比如，创建数据默认值使用不当和数据录入的校验规则不当、接口数据漏传、数据清洗算法不完善、维护过程缺乏验证机制等。子化，为机动车所有人、驾驶人以及相关行业和管理部门提供电子证照服务。

流程问题

流程类问题是指由于物料申请、审批、应用流程设置不当造成的数据质量问题，主要来源于数据的创建流程、审批流程、使用流程、维护流程和稽核流程等各环节。比如，操作员数据录入时缺乏审核流程、清洗流程缺乏、调度流程逻辑错误、数据使用缺乏流程管理、缺乏错误数据维护流程、缺乏数据错误反馈流程等。

管理问题

管理类问题是指缺失物料数据管理和运维管理机制方面的原因造成的数据质量问题，如组织管理、人员管理、绩效激励等方面的措施不当导致的管理缺失。比如，缺乏强有力的物料数据管理组织、缺乏物料数据管理的专业人员、针对数据质量问题，没有建立管理数据质量的专门机构、没有明确的数据质量目标、缺少企业数据质量管理办法、缺少物料质量管理的绩效激励制度等。

 

02 物料数据质量管理方法

物料数据质量管理规划

在工业企业中，物料的数据量巨大，因此，对于物料质量的提升应该采用系统的方法进行整体规划，采用过程的方法实现闭环管理，采用PDCA的方法不断持续提升。如图3所示。

 

图3  数据治理管理整体框架

物料数据质量规划主要包括物料数据质量目标、物料数据管理组织、物料数据质量标准、物料数据管理平台、物料数据清洗、物料数据集成共享、物料数据运维组织以及物料数据质量优化机制等。

 总体规划，制定目标

物料数据质量的管理首先要有总体的规划，包括物料数据质量的目标、物料数据质量管理的过程要求以及物料数据质量提升的路径。

 建立组织 ，构建流程

组织是实现物料数据质量管理规划和执行数据质量管理的必要保障条件，同时构建流程和制度，保障物料数据质量有序推进和闭环管理。

 制定标准， 编制规则

标准是实现物料数据质量管理和提升的依据，根据物料标准编制物料质量规则，实现物料从源头到应用的全过程质量支撑。

 搭建平台 ，有效保障

平台是实现物料数据质量管理的中枢，通过物料数据管理平台实现从物料申请、物料审批、物料修改、物料应用、物料质量检查等物料数据的全生命周期管理。

 分析问题 ，清洗数据

清洗数据是对物料历史数据质量提升的重要环节，收集各信息系统物料数据，根据制定的物料标准和规则开展物料数据清洗，将有效提升物料历史数据的完整性和有效性。

 集中服务 ，全面共享

集成共享是保证物料数据在各应用系统数据唯一性、一致性、准确性、及时性的重要条件，物料数据的集中服务，也是物料数据管理的重要价值体现。

 持久运维 ，常态支持

物料数据质量的优化提升是持续的过程，根据制定的物料数据质量目标、规则和阶段提升计划，持续开展物料数据质量提升活动，按照PDCA的方法，再度提升物料数据质量。

优化质量 ，再度提升

物料数据质量的优化提升是持续的过程，根据制定的物料数据质量目标、规则和阶段提升计划，持续开展物料数据质量提升活动，按照PDCA的方法，再度提升物料数据质量。

物料数据质量管理实施

在企业的现实物料数据质量管理中，物料数据质量的提升往往是通过物料主数据项目建设为契机开展的，下面结合笔者在物料主数据项目建设中的经验论述如何通过物料主数据建设提升物料数据质量。

01 总体规划

企业物料数据管理部门对物料数据质量的提升制定总体规划，包括物料数据提升的目标、提升过程以及提升阶段规划。

• 物料数据质量提升目标

详细制定物料数据质量提升的具体方面和该方面的具体目标，目标一定要量化、可测量、可实现，如表1所示，物料数据质量提升目标。

 

表1  数据质量提升目标

• 物料数据质量提升过程

物料数据质量的提升过程主要包括收集原始数据分析数据质量问题、制定物料数据标准、搭建物料数据管理平台、清洗物料数据、集成相关系统应用物料主数据、确定物料主数据运维组织和流程、进行物料数据质量检查、绩效考核及数据质量优化等。

• 物料数据质量实现路径

物料数据质量的提升是一个持续优化和改进的过程，因此，是在总体规划目标的基础上分阶段实现的，图4是物料数据质量提升实现路径的示例。

 

图4  物料数据质量提升路径

 

02 组织建设

制定完总体目标就要进行组织建设，物料数据质量管理组织是提升物料数据质量的重要前提，只有建立高效可控的组织，才能实现数据质量目标的迅速下达和高效执行。一般物料数据质量组建立在数据治理委员会下的主数据标准化管理办公室中，这样保障组织从战略层面到执行层面的垂直集中管理。图5是物料数据质量管理组织架构示例。

图5  物料数据质量管理组织

03 标准建设

物料主数据标准是保障和提升物料数据质量的法规依据，物料主数据标准定制的科学性将直接导致未来物料数据质量的优劣。因此，在制定物料主数据标准时一定要由不同物料类别的物料专家组成物料专家组进行物料主数据标准的制定工作。物料主数据标准主要包括：编码标准、分类标准、描述标准和提报指南，如图6所示。

 

图6  物料数据质量标准

• 编码标准

根据世界或国内500强大型集团企业物料数据编码标准最佳实践，大部分企业均采用流水码作为物料主数据编码规则，图7是物料主数据编码标准示例。

图7  物料数据编码规则

• 分类标准

物料分类标准是整个物料代码体系的基石，从某种程度上说物料分类是否科学决定了物料代码体系结构的优劣，因此必须制定科学合理的物料分类原则。图8是物料数据分类目的和基本原则示例。

 

图8  物料数据分类目的和原则

根据物料数据分类原则，确定物料分类的编码规则。图9是物料分类编码规则示例。

图9  物料数据分类编码规则

根据物料数据分类原则，组织物料专家进行物料分类标准的编制。表3是物料分类标准大类示例。

表3  物料数据分类标准

• 描述标准

物料描述标准是对某一类物料描述规则的定义，目的在于解决物料描述的规范化问题。物料描述标准是控制物料质量的核心手段，包括物料主要自然属性、取值范围和相互关系的确定。主要由特征量及特征量相关关系（如连接符、前置符、后置符等）组成。图10是物料描述标准的示例。

图10  物料数据标准标准

根据描述标准，形成具体物料数据描述规则，从而形成物料数据质量检查规则的重要组成部分。

 

图11  物料数据描述规则

• 提报指南

为了规范物料编码应用、提高物料数据质量、缩短物料代码提报和审核实践，需要组织编码审核人员结合业务实际，对物料的分类标准、描述标准以及填写物料条目提报时的注意事项进行详细的说明，并对审核过程中发现的问题进行归纳总结，编制《物料代码提报审核指南》，指导企业内所有涉及物料应用的单位和部门。

03 搭建平台

制订了物料数据标准后，就要把物料数据标准内置到物料主数据管理平台，通过物料主数据管理平台实现物料数据的标准管理、数据清洗、物料主数据从创建、审核、发布、修改、冻结、归档的全生命周期管理、物料数据质量管理等。

图12  物料数据质量管理平台

04 清洗数据

搭建平台后，就能够根据制定的物料数据标准开展数据清洗工作，物料数据清洗是有效提高历史物料数据质量的基础性工作。

• 历史物料数据清洗的目的

历史物料数据清洗就是按照新发布的物料分类标准、描述标准进行梳理，形成标准、规范、准确的物料数据。图13说明了物料数据清洗的效果。

图13  物料数据清洗效果

• 物料数据清洗的流程

一般来讲，工业企业物料数据量非常大，需要科学有序的组织，才能保障物料数据清洗质量。首先，明确人员分工，包干到户；然后，正确标定每一个物料的小类；再后，根据物料数据描述标准进行物料数据清洗；最后，由审核组长对清洗后的物料进行审核。最终，经过审核后的物料数据形成可供相应系统共享应用的物料代码。图14是物料数据清洗流程示例。

图14  物料数据清洗流程

• 物料数据清洗的过程

物料数据清洗的过程主要包括：对收集的历史物料数据归类、物料数据有效性分析、识别需要清洗的物料、对物料数据进行规范、进行物料数据清洗、进行物料数据查重、进行物料数据转换、进行物料数据特征值调整、进行物料数据应用切换、对无效物料数据进行删除。图15是物料清洗过程的示例。

 

图15  物料数据清洗过程

• 物料数据清洗的成果

清洗后的物料数据就能达到物料数据质量要求的唯一性、完整性、准确性等要求，同时在物料数据管理系统中生成了物料代码，可供需要使用物料数据的信息系统进行集成共享使用。图16是物料数据清洗后规范的物料主数据代码库示例。

图16  物料数据代码库

05 服务集成

物料数据在清洗后，必须通过系统集成，保证物料主数据源头数据质量的基础上，各相关应用系统必须使用统一的物料数据，才能保证各系统中物料数据的一致性、准确性、及时性。

• 系统集成方案

企业通常采用通过ESB总线（数据集成平台）实现物料主数据与业务系统的集成，从而实现物料数据在各业务系统中的统一使用。

图17  物料数据应用集成架构

数据分发策略可以采用人工触发、定时触发、批量使用等模式。由于各系统均存在物料数据变更时有未结业务，因此根据各系统的需要采用最优的物料数据分发和使用策略。

图18  物料数据分发方式

• 数据切换方案

制定合理的物料数据切换方案是物料数据在各系统应用落地的重要策略，如何处理已建系统中物料数据和标准物料之间的关系，如何处理在建系统中物料数据和标准物料之间的关系，如何处理待建系统中物料数据和标准物料之间的关系，只有处理好三种关系，才能保障物料数据的真正落地。图19是物料数据切换方案策略示例。

图19  物料数据切换方案

06 运维支持

建立标准化的运维团队是保障物料数据质量的坚实保障。通过物料数据运维团队，从物料专业化的角度审批提报的物料数据，保障物料数据的准确性；从审批效率的角度及时审批提报的物料，提高物料数据的及时性；从数据质量的角度对物料数据进行审查，保证物料数据的高质量。图20是物料数据运维过程的示例。

图20  物料数据维护过程

07 优化提升

企业物料数据量大，很难一次性将质量提升到位。因此，就需要建立物料数据质量优化提升机制，采取PDCA的方法开展物料数据质量提升工作。图21是PDCA质量提升示例。

图21  物料数据质量PDCA优化过程

• 建立物料数据质量规则

根据物料数据标准，建立物料数据质量规则库，规则库要涵盖唯一性校验规则、完整性校验规则、一致性校验规则、准确性校验规则等，保证质量规则的全面性和可扩展性。具体校验要求包括空值检查、逻辑检查、值域检查、重复检查、引用检查、结果对比等。

• 实施物料数据质量检查

将制定的物料数据质量检查规则内置到物料数据质量管理平台，抽取不同系统中物料数据形成待检查清单，启动物料数据质量规则引擎，实现待检查物料数据清单和物料数据管理系统中的标准物料数据进行对标校验。物料数据质量检查后形成物料数据质量报告。

• 实施物料数据质量改进

按照规划中制定的物料数据质量提升目标，参照物料数据质量报告，开展物料数据质量改进活动。对不符合物料数据质量规则的物料数据进行处置，以达到数据质量改进目标的要求，同时修正后的数据要进行再次校验以保障质量改进的结果，尤其注意物料数据质量改进的闭环管理。

物料数据质量实施效果

物料数据质量的优劣直接关系到企业内部的供应链协同和外部产业链协同的效率。因此，实施物料数据质量管理具有重要意义。

01 物料数据质量的提升有助于提高企业人、财、物、产、供、销一体化协同能力

在大型集团企业，通常物料会用于采购管理部门、生产管理部门、仓储管理部门、财务管理部门、设备管理部门等，涉及的信息系统包括招投标系统、集中采购系统、合同管理系统、ERP系统、财务核算系统、财务共享系统等。因此，物料数据保持准确、一致、唯一将大大提升系统间的共享水平，整体提升跨部门、跨企业的一体化协同能力。

02 物料数据质量的提升有助于加强企业间业务协同效率和产业间产业协同水平

目前，加强企业间业务协同和产业间产业链协同是企业降本增效的重要手段。物料代码的唯一性、物料信息的一致性、物料数据的准确性等物料数据质量的保障有效提升企业间协同设计、协同研发、协同制造、协同供应、协同管理等自适应协同能力，有效提升产业链上下游企业间的产业协同水平，大大降低产业链中的无效协同成本。

03 物料数据质量的提升有助于降低企业生产经营管理风险

当前，大型集团企业的物资库存数量居高不下，一物多码情况时有发生，物料占用资金众多，库存成本巨大，资金周转率低下。物料数据质量的提升将在最大程度保证采购部门、仓储部门、生产部门物料数据的一致性和准确性，有效降低企业自身的库存成本，提高资金周转率，从而降低企业的生产经营管理风险，提高企业可持续竞争能力，有效促进企业健康发展。

04 物料数据质量的提升有助于提高企业整体决策能力和水平

物料数据质量的提升可以持续提高物资采购标准化水平，优化需求计划协同能力。大型集团，物料数据少则十几万条，多则几百万条，物料数据的质量提升了，协同环节中的数据准确了，财务业务可以一体化协同了，企业的战略决策也就科学化了。由于物料涉及企业众多部门和业务环节，因此，物料数据质量的提升是提高企企业整体决策能力和水平的重要保障。多系统间统一物料编码后，能以统一的口径对全公司供应链数据进行准确和及时的统计分析，同时通过和财务系统的互联互通，在全企业各层面实现财务业务一体化分析功能，助推战略决策科学化。

03 物料数据质量管理总结

在工业企业，物料数据是组织最具价值的资产之一。物料数据质量与业务绩效之间存在着直接联系，高质量的物料数据可以使公司保持竞争力并在经济动荡时期立于不败之地。笔者通过多年的数据治理实践经验，总结出物料数据质量管理的系统方法，供大家参考。

物料数据质量的事前控制

当前，大部分企业做物料数据质量管理均是事后处置。然而，数据质量的提升是通过PDCA循环持续优化的。所以，在新的循环开始前，我们就可以进行物料数据质量的事前控制。事前控制的活动的主要包括：成立专职的物料管理组织、制定科学合理的物料数据标准、编制可持续优化的质量规则、搭架专业的物料数据质量管理系统、全面落实物料清洗工作以及确定明确的物料管控流程。物料数据质量的事前控制，是保障物料数据质量优劣的重要前提。

物料数据质量的事中管理

物料数据质量的事中管理非常重要，很多企业进行物料主数据建设几年后，发现物料数据的质量问题又有很多，这就是疏忽了物料数据质量的事中管理。物料数据质量的事中管理的活动主要包括：定期进行物料数据质量评估、实时进行数据质量监控、按时生成物料数据质量报告、及时提出物料数据质量改进策略等。物料数据质量事中控制，是实现物料数据质量长治久安的重要保障。

物料数据质量的事后处置

物料数据质量问题发生后，一定要有闭环的质量处理机制进行管理。找到物料质量问题的根本原因，是标准需要优化、是填报错误还是系统校验问题等等；找到物料问题的责任人，根据物料质量管理办法，进行物料质量问题的改进，同时改正后的物料还要在多个系统间进行同步，保障物料数据的正确和一致；通过绩效考核办法，对物料质量管理优秀的进行奖励，对屡发数据质量问题的个人和部门追究责任。在整个物料数据治理环节，从找到问题数据开始，控制数据质量，贯彻始终，全面提升数据的完整性、规范性、及时性、一致性，才能减少因数据不可靠导致的决策偏差和损失。