机械厂如何做好企业级数据治理系统落地

最新推荐文章于 2024-11-18 19:00:00 发布

亿信华辰软件

最新推荐文章于 2024-11-18 19:00:00 发布

阅读量1.4k

点赞数 7

文章标签：人工智能大数据

本文链接：https://blog.csdn.net/esensoft123/article/details/142100321

版权

生产制造企业的数据治理面临着诸多难点与挑战，今天以某国营机械厂为例，分享机械制造企业数据治理经验。某机械厂是国家投资的国有大型企业，业务范围覆盖到零部件的研发、测试、生产制造，属于典型的离散制造企业。

鉴于近年来国家对国有企业数字化转型战略的深入部署，该厂积极响应国家号召，紧密围绕“数字化转型”这一核心任务，全面启动数据管理体系的建设工作，不仅有效解决了数据治理的痛点，还极大地提升了企业运营效率，加速了产品创新步伐，为离散制造业的数据治理之路提供了宝贵的经验与启示。

企业面临的挑战

目前工厂内部已经建成约70多套信息化系统，包括经营管理系统（OA、财务、HR、知识系统等）、生产制造系统（修理MES、ERP、PLM、IETM等），这些系统的数据分散存储，未实现数据资产的统一管理，在数据管理面临的双重挑战：

挑战一：数据质量参差不齐，人工填报隐患多

由于大量数据依赖于人工填报，且填报表单中的字段缺乏统一的标准化定义与约束，导致数据填写过程中不规范现象频发。

以工艺问题改进管理数据表单为例，同一行数据中竟出现两个文件编号，文件名称五花八门，缺乏一致性；机型字段本应通过值集约束确保填写具体机型，但实际填写却五花八门，甚至缺失关键信息如提出时机、登记时间等。

这种数据填写的不规范性，不仅增加了后续数据加工与统计分析的难度，还使得数据清洗过程变得异常复杂，整体数据质量难以保证，从而限制了数据在技术研发与改进分析中的有效应用，其辅助决策的价值大打折扣。

挑战二：数据价值挖掘不足，线上线下割裂严重

一方面，工厂内部积累了大量纸质表单及各部门线下的Excel数据，由于缺乏统一的线上管理系统，这些数据如同孤岛般散落各处，难以进行有效汇总与分析，数据价值被严重埋没。另一方面，虽然IT系统中已沉淀了丰富的业务数据，但各系统之间彼此独立，数据共享壁垒高筑，导致工厂用户难以便捷地获取所需数据，进一步阻碍了业务数据的深度开发与利用。

解决方案

结合对某机械厂数据管理现状调研的实际情况，工厂涉及众多业务板块，迫切需要统一的数据管理平台，能将这些数据收集起来集中存储，制定数据管理办法，进行标准化管理，基于高质量的数据，对工厂的生产经营进行动态分析、预测分析等，为工厂的综合决策提供支持。

建设目标

本项目旨在通过建立工厂数据管理标准体系，搭建数据治理平台，将各类业务数据汇入数据湖展开治理，形成数据资产，提供数据可视化应用，将工厂数据管理成熟度从程度较弱的受管理级提升至稳健级。

建设目标分解为5大类：

一是明确数据战略，建章立制，建立数据管理体系；

二是构建数据湖、数据仓库，打破数据孤岛；

三是打造持续升值的数据资产，将数据变为全厂人员可阅读，易理解的内容，并可以快速结合到业务中；

四是依托数据治理平台，通过数据分析试点应用的落地来检验标准体系和平台架构；

五是通过平台的建立和体系的建立和完善，工厂数据管理成熟度将提升至稳健级。

建设思路

系统平台建设思路按照“1+2+2“即“一个体系、两个中心、两个应用”进行设计。

一个体系：是指建立数据的管理体系和管理规范体系，制定工厂的数据管理模式、策略和标准，通过对数据的标准化、资产化管理，实现工厂各业务数据的汇聚融合、各环节数据的一致性；
两个中心：分别是汇聚中心、数据中心。汇聚中心是数据的采集汇聚及ETL功能平台；数据中心实现数据湖/数据仓库的建设，同时要实现数据数据治理活动
两个应用：分别是数据分析和数据API服务应用。

建设内容

主要包括三大方面：

一是数据管理体系规划及推广，除了要构建符合工厂要求的数据管理体系外，还需要对全体员工进行数据治理赋能，为工厂培养一批掌握数据管理、数据中台应用与开发技能的复合型管理人才；

二是数据治理平台建设，要包括数据采集以及数据治理、系统集成等平台功能；

三是数据治理实施，涉及数据采集入湖、数据标准开发作业配置以及主数据质量提升等内容。

项目周期

此项目建设历经规划设计、平台建设、治理实施与运维支持四大阶段。自23年1月项目启动，至5月前完成需求调研与体系设计，并同步推进平台建设，兼顾客户化定制开发。随后，基于前期设计，数据治理工作于5月后正式启动，采用迭代模式，优先构建元数据基础，进而搭建数据资产目录体系，逐步上架梳理后的数据资产。同时，并行开展数据采集与数据标准梳理，辅以数据质量稽核，确保数据治理成效。系统于9月初顺利上线，随后启动数据分析应用竞赛的筹备与培训工作，竞赛于11月圆满落幕。至12月，项目圆满通过验收，正式迈入运维支持新阶段。

如何落地实施

整个项目落地包括数据治理体系规划、平台建设、数据治理实施三大部分：

1.数据治理体系规划

1.1数据成熟度评估

在数据治理体系规划方面，基于DCMM（数据管理能力成熟度模型）提炼的八大数据管理领域，我们设计了数据能力评估问卷，并依据调研结果编制了差异分析报告。在八大能力域框架下，与领导层及业务部门紧密沟通，制定了关键措施。最终，输出了一系列数据治理体系规划文档，为组织能力提升提供了坚实基础。

1.2建立数据治理组织架构

治理组织架构的，我们组建了决策、管理、执行三层的治理组织架构，决策层是由厂领导组成，主要负责确定数据治理目标；管理层是由数据中心领导以及各业务部门领导组成，负责制定数据治理管理制度、流程等，执行层由数据中心、各业务部门在各数据治理领域的对接人组成，负责落实数据治理管理层的管理制度和流程。

1.3职能角度建立责任矩阵

建立好组织架构后，逐步细化和明确了数据资产的管理职责，企业的数据认责机制必须建立在明晰、均衡的专业与责任划分之上，认责方应当有明确的职责边界，同时还要便于相互间的协作。因此在职能的角度上建立了责任矩阵，明确了数据资产所有者、业务认责方，技术认责方、操作认责方各方的职责。

1.4数据角度开展认责

以数据角度开展认责，包括业务活动数据的CU矩阵、部门数据的CU矩阵、系统数据的CU矩阵，通过建立数据资产C-U矩阵，按照“谁产生，谁负责”，“谁经手，谁负责”的原则，将数据责任逐级落实到个人。

1.5制定数据管理流程

立足数据使用、数字化建设、数据管理三大业务场景，定义业务活动流程，并明确数据提供者、数据管理者、数据消费者各角色职责分工。截止目前共发布了20项数据管理流程，涉及到数据资源申请使用、数据应用开发、引用数据标准建模、数据标准落地评估、资产盘点、数据质量管理等数据管理场景。上图是一份针对已上架的资产数据申请流程示例，用户在线进行数据申请使用的填写、在线审批、通过后直接开放数据使用权限。

2.平台建设

建设体系的同时我们也在建设数据治理平台，平台架构（如上图）主要由4层组成，最底层是基础设计及网络，在此之上存储层，通过数据集成对各类异构数据的采集并存储，在数据存储之上主要是能力层，也就是数据治理的各个域的功能，最终面向用户提供数据资产门户、API服务以及数据分析应用。

本次项目的实施采用的是亿信华辰睿治数据治理平台工具，分别完成了数据仓库建设、核心业务数据治理以及数据资产门户、数据分析等数据应用服务。基于数据治理体系的规划，利用治理平台完成了数据管理流程的落地应用。

3.数据治理实施

3.1数据入仓

本次数仓的建设包括了很多历史数据、ETL、调度的迁移，因此利用睿治数据治理平台的数据采集功能，将各业务系统异构的数据和历史数仓的数据，通过JDBC方式、实时采集、接口采集、文本采集等方式，抽取到数仓统一管理，其中涉及到传统的关系型数据库、Hadoop数据库，半结构化和非结构化数据。

工作成果：在数仓按照业务主题划分了9大业务域，涉及1000+张表入仓，设计了100+数据模型，500+ETL作业，150+调度在运行中，为工厂的数据分析应用提供了数据基础。

3.2数据盘点

整个数据盘点工作要用到睿治数据治理平台的元数据管理和数据资产管理功能，需要强调的就是数据有效性的确认在数据盘点过程中是非常必要的，我们会先从技术层筛选掉无效表，例如空表、备份表、临时表、垃圾表、系统配置表等，然后让业务部门做二次确认，通过数据有效性确认，精简数据盘点工作工作范围，大大提升效率。

工作成果：完成对79套源端业务系统的深度梳理，涵盖了17种类别，累计采集并整合了高达185万项元数据，实现了对业务元数据与管理元数据的全面补充与优化。此举显著提升了元数据注释的完备程度，从原有的51.68%跃升至83.48%，成功构建了覆盖全厂的统一数据字典，为数据治理奠定了坚实基础。

同时，紧密围绕工厂9大核心业务价值链，将盘查出的数据项精心转化为宝贵的工厂数据资产，并通过数据服务门户平台对外发布，实现了跨部门的无缝对接与高效共享。这些数据资产依据业务价值链的自然流程，精细划分为从研发到生产、从销售到回款的各个环节，进一步从数据维度细化为主数据（如人员机构、客商、物料、机型、设备等关键共享信息）、基础数据（作为参考标准的各类数据）以及业务数据（如具体的单机维修方案、完工发运单等），为企业的精细化管理与决策提供了强有力的数据支撑。

3.3数据标准

在数据标准制定方面，我们采取业务驱动与技术驱动相结合的策略，以确保标准的全面性与实用性。从业务驱动角度，梳理核心业务流程、识别核心业务实体、识别核心业务属性、确定权威数据源、制定数据标准；从技术驱动角度，统计梳理业务含义相同/相近数据项、确定数据标准范围、确定权威数据源、制定标准。

在制定过程中，遵循三大原则：一是按需定义原则，以物资业务为例，结合线上线下业务数据，提炼关键业务实体与主要属性，避免简单复制信息系统数据库表信息，而是从业务实际需求出发进行抽象与规范；二是抽象定义原则，针对如证书等具有共性与差异性的实体，我们进行抽象化处理，整合共有属性并新增类别属性以区分不同用途；三是明确权威原则，针对多系统中存在的相同实体（如采购申请），厘清其跨系统血缘关系，以权威系统（如ERP系统）的属性为准绳，制定统一的数据标准。

工作成果：利用睿治数据治理平台数据标准管理功能，建立了工厂级数据标准体系，包括基础数据284项、主数据13项、参考数据38项及指标数据307项。同时，依据标准对业务系统进行了数据评估，发现并推动了29项不符标准的整改，提升了数据质量。

3.4数据质量

在数据质量管理领域，我们构建了完善的工厂数据质量管理闭环体系，该体系清晰界定了各环节的责任主体，从质量问题的初步提出、深入分析，到质量规则的严谨制定，再到质检方案的实施与结果反馈，直至质量问题的针对性整改与后续评估，形成了一个闭环循环的持续优化机制。紧密依托前端数据分析与应用场景，特别是通过深度挖掘报表生成过程中的问题数据，实现了对数据质量问题的精准定位。

工作成果：精心梳理了涵盖人员、物料、串件等9大主题域的广泛数据资源，并制定了共计355条严格的数据质量规则，这些规则覆盖了空值检查、重复数据识别、值域校验及数据规范审核等多个关键维度。同时，利用元数据分析功能追溯问题源头，通过深入分析63条数据链路，从根本解决数据问题，提升数据质量。

3.5数据资产门户

在数据服务实施方面，我们依托已治理的数据，通过资产门户向全厂员工提供便捷的数据服务。根据业务视角划分资产目录，并运用来源系统、数据类型等作为数据标签，构建了一个类电商的数据资产平台。用户可通过目录分类、标签及业务关键字快速定位所需数据，并查看详细信息，如业务描述、来源系统、提供部门等，以判断数据适用性。一旦确认需求，用户可在线提交查询、下载及分析申请，待审批流程完成后，即可访问权限内的数据。

3.6数据API服务

针对系统间数据共享，我们提供了数据API服务。在平台上，通过简易配置即可实现API服务的构建，无需繁琐的代码开发，相较于传统方式，显著降低了开发成本，并加速了系统间数据共享的效率。在本次项目中，已将厂房信息、人员信息等重要数据，通过接口方式对接至工业互联网系统，同时，也将质检问题数据等关键信息提供给质量与生产系统，为工厂的高效生产运营提供了坚实的数据支撑。

3.7数据分析应用