制造业数据质量提升的方法和实践

制造业的数据治理尚处于早期阶段，而数据质量管理是所有数据类项目重点关注的领域。数据治理以数据标准、数据质量和元数据的管理为根本，是企业实现数据资产价值创造的基础。上周，在由武汉市经济和信息化局主办的“万企育才工程”之《制造业数据管理与应用（一期）》专题培训班上，亿信华辰数据治理专家温来松结合制造业数字化转型现状以及自身工作经验，分享了制造业数据质量提升的实践方法。

01

提升数据质量的必要性

数据已成为制造企业发展的驱动力，高质量的数据是支撑业务管理和业务决策的基础。而数据质量问题一直困扰着企业决策者、管理者和执行者。在企业里，每天都围绕着数据发生很多“故事”，但是也会有不少“事故”。

据统计分析，造成数据质量不佳的原因，包括从数据采集/录入到数据加工/处理 再到数据应用展现各个环节。任何一个环节出错，都将导致数据的错误，甚至源头数据本身就是错误的。所以，数据质量问题不仅仅是一个技术管理，它有可能出现在业务和管理的过程中。

全流程的数据问题产生原因

正如此，数据质量提升在数据管理项目中尤为重要，其目的是为企业设立数据标准规范，提高并管控数据质量，保证企业数据的准确性、一致性、完整性、独特性、时效性、有效性等，保证业务数据应用及业务决策的正确性。

在“制造产业数字化转型”背景下，面对来源丰富、特征多元的数据，数据融合管理正逐渐成为企业各部门信息渠道建设和管理的重要内容与要求。数据质量提升是提升领导决策和治理能力，促进企业数据资源运营的必要步骤。

02

数据质量提升的概念

什么是数据质量？

DAMA对于数据质量的定义是：为确保满足数据消费者的需求，应用数据管理技术进行规划，实施和控制等管理活动。DCMM更是把数据质量作为一大能力域，并规划了二级能力项包括数据质量需求、数据质量检查、数据质量分析、数据质量提升。

数据质量是保证数据应用的基础，业内明确了数据质量评价指标框架，评估数据质量包括以下6个维度：

完整性：指的是数据信息是否存在缺失的状况。

唯一性：是指数据集内的任何实体不会重复出现。

一致性：指确保数据值在数据机内和数据集之间表达的相符程度。

准确性：指是指数据记录的信息是否存在异常或错误。

及时性：指数据的更新频度符合预期。

有效性：是指描述数据遵循预定的语法规则的程度。

那什么是数据质量提升呢？

数据质量提升通常被理解为对应用系统中的业务数据、数据仓库中的汇集数据通过一系列的数据清洗、转换、修改，使得数据在完整性、独特性、时效性、有效性、准确性、一致性方面达成满足报表查询、决策支持、预警预测等数据应用的过程。数据质量提升是企业在数据战略的引导下，制定合乎企业自身的数据管理制度，合理规划企业数据架构，并通过专业化平台，进行一系列标准化、数据治理工作，使得数据成为企业资产的过程。

数据质量提升是数据管理的一部分，数据质量提升的包括三个方面的建设内容：

• 管理体系建设：通过优化数据治理组织架构，制定数据治理制度规范，形成企业数据治理体系，促进数据质量提升工作有效提升

• 平台能力建设：为数据质量提升提供高效的技术手段，同时打破数据孤岛，实现企业数据在同一平台进行高效管理

• 数据治理实施：提升数据质量、打造持续升值的数据资产，提优质的数据服务。将数据变为全集团人员可阅读、易理解的内容，并可以快速结合到业务中，加强数据应用能力，将数据转变为生产力

数据质量提升的阶段划分

03

提升制造业数据质量的方法

制造业数字化转型的核心在于数据，数据的链接、汇聚和治理是制造业企业数字化转型的第一步。制造企业究竟要如何提升数据质量？经过10多年的摸索，亿信华辰作为数据治理领域的领航者，现在已经有了一整套行之有效的管理数据质量的方法，具体实施步骤如下：

数据质量提升的标准流程

步骤1：调研数据问题

针对相关业务部门及IT系统开展问卷调查，收集在信息使用中存在的障碍和挑战，理清数据现状和用户需求。以调研问卷为基础，针对项目发起者重点关注的领域组织专项面对面访谈，从源系统、数据应用系统、业务部门、科技主管部门到数据治理主管领导，逐步建立整体架构视图，勾勒出目标蓝图。

步骤2：数据治理成熟度评估

企业数据成熟度阶段分为数据积累阶段、初始阶段、体系阶段、定量管理阶段、持续优化阶段。认知自身所处的数据成熟度，对于企业来说十分必要。目前，制造行业的信息化建设已取得显著效果，企业普遍希望通过数据治理为建设数据应用夯实基础，从而实现数据价值。

步骤3：确定治理目标、获取高层支持

数据治理是一把手工程。数据治理是一个跨部门、跨系统的活动，需要得到高层的极大支持。

步骤4：制定数据治理实施路线图

步骤5：搭建数据治理组织体系

组织跨部门的数据治理工作小组，确定组织目标与定位，确定组织形式与层级，明确管理内容和职责划分，设置岗位与人员安排。

步骤6：梳理业务系统，摸清家底

不仅是对数据，还需要对业务流程进行“全面体检”，梳理业务系统，摸清数据现状。

步骤7：建立元数据存储库

步骤8.1：基础标准定义模板

步骤8.2：数据质量管理闭环机制

在质量管理的发展过程中形成了众多的质量管理理论，PDCA循环通过计划、执行、检查、处理四个循环反复的步骤进行质量管理。PDCA映射到数据问题闭环管理，包括数据问题发现，到问题定位、跟踪问题处理、完善问题知识库，到考核评价，形成一种可持续运行、可持续解决问题的机制。

步骤8.3：主数据管理

步骤9：建立数据治理长效机制

数据质量管理贯穿数据的全生命周期，是一个长期的、需要持续开展的工作，需要业务人员和技术人员共同努力，才能获得高质量的数据。因此需要从以下几方面建立长效机制，持续优化迭代提升数据价值：

1.推进数据资产化，使得数据战略与业务战略结合统一

2.数据治理可视化展示，直观呈现，从数据治理域的各维度分析

3.治理成效评估，通过成果度量成效，并定期向委员会汇报

4.推广数据治理文化，宣传数据战略，建立数据论坛

5.建立体系化数据服务体系，形成统一的数据服务入口

治理成效评估示例

04

数据质量提升的落地实践

制造行业已经开始逐步进行数据治理和管理应用的探索，并取得落地成果。亿信华辰积极布局数据治理领域，以DCMM和DAMA为理论框架，结合实践构建闭环式数据管理体系，数据治理产品已成功应用于诸多企业。

案例一：某主机厂数据治理项目

客户痛点：随着造车技术的不断进步，车企进入定制化时代，它需要以更低的成本生产多样化的产品，从而满足不同顾客的多种需求。对数据本身而言，业务量的增长加快了数据膨胀的速度，因此，数据治理已经成为大势所趋。

解决方案：打造车企集团层面的数字化运营体系按”119”进行整体设计。高效积累数据资产，赋能业务应用场景，助力企业构建扎实的数据根基，实现数字化经营。

• 咨询规划：结合理论组织架构，组建车企决策、管理、执行三层治理组织架构，包括：治理管理委员会、治理管理部门、执行工作小组。咨询成果输出分为两个方面：一是数据治理体系，二是数据治理管理办法。

• 平台建设：数据治理平台架构于数据底座之上，采集车企各系统及服务的元数据、主数据模型，构建标准、进行质量管控，实现资产化运营，赋能业务部门及应用创新。

• 治理服务：基于车企数据治理业务需求，通过数据采集、主数据、元数据、数据标准、数据质量、数据安全，数据资产管理、数据服务、数据指标等全方位治理，实现数据价值提升。

治理成果:

1.构建 6 大业务领域，11个核心应用系统之间的数据链路，通过数据地图展示系统间依赖关系，层层深入了解数据的业务含义，通过元数据分析，了解影响范围

2.建立数据质量检查&整改机制，完成数据入湖、数据分析环节的数据质检工作，构建 7 个质检模型，48 个质检规则，76个 质检方案。保障大数据平台中的数据完整性、真实性、准确性、及时性、规范性，为数据分析、决策支持、数据挖掘提供有效支撑。

3.基于元数据信息和集团职能全景图构建数据分类目录，第一阶段梳理形成人力资源域、营销域、供应链域数据资产，并数据治理平台门户实现了数据分类自动化和数据资产可视化，制定了数据分类维护方案，保证分类的准确性和实时性。

案例二：某电力集团数据质量管理项目

为快速解决现有系统中存在的飞码异常、表码倒走、台区/用户漏采、日超容等问题，在数据服务平台中规划数据质量管理平台，快速定位问题数据，对数据进行定期巡检，提升数据质量，为后续的数据分析提供有效的数据基础。

数据服务平台分期建设数据源管理平台、数据集成平台、数据权限管理平台、数据质量管理平台、数据缓冲区、数据分析平台、统计对外服务接口等多个模块，多模块协同整合多源数据，提升数据质量，面向不同用户提供相关数据支持服务。

其中数据质量管理部分则借助亿信华辰数据质量管理工具，全面提升数据质量，减少因数据不可靠导致的用户决策偏差和损失。同时按照指定检测数据源，定义之间规则，定期巡检，推送质检报告的流程为用户提供全面完善的质检方案。

案例三：南山集团主数据管理项目

确定南山集团建立一套全生命周期的物料主数据管理模式，该方案以数据标准与制度二者为基石，以管理组织、流程和平台三者为实现手段，实现物料主数据全面高效的管理。

完成人力资源、财务、采购、营销、指标及其他基础等六大类主数据建设，其中物料主数据，涉及40+大类，3000+小类，10万+实体数据，并实现供应链等其他经营系统的数据对接共享。

案例四：山能源临矿集团数据资产项目

山东能源临矿集团通过建立集团级大数据资产平台，运用大数据技术实现数据采集、清洗、分析建模，实现了集团全量多源异构数据采集，并对核心的人力、财务、设备、煤质、生产安全数据进行数据治理，形成高质量的数据资产。

通过数据资产目录对全集团发布，并用业务元数据解释数据含义，便于业务人员寻找自己所需的数据。业务人员可以对自己所需数据提出申请，数据管理员审批通过后，业务人员可以利用零代码敏捷分析工具自助分析取数，实现数据赋能，支持日常生产经营管理。