数据治理质量保障研究

摘要

众所周知，大数据技术将打开各行各业的数据魔盒，从金融、电商、医疗、能源到制造业，都致力于从大数据中挖掘价值。而数据治理是实现大数据战略的基础，通过数据治理提升数据价值才能保证最终大数据分析的准确性。目前国内外有很多关于数据治理的理论和方法。大部分的理论和方法都会围绕数据质量管理展开。数据治理的过程中需要跟踪评估数据质量。本文重点阐述用友在数据全生命周期中数据质量保障的办法。

企业在日常生产建设经营过程中产生与存储的数据量极其庞大，获取数据的来源也很多，为了方便企业数据的整合分析，首先要保障企业数据的质量并对企业数据的质量保持监控。用友对数据质量的监控往往是贯穿数据的整个生命周期。评估数据质量的指标包括：数据真实性、数据准确性、数据唯一性、数据完整性、数据一致性、数据关联性、数据及时性（见附录）。

1 数据质量管理

在计划对企业数据进行数据治理时，应充分考虑业务实际需求，进行业务分析，制定数据标准体系，再确保数据采集、存储、管理与交付各个环节的数据质量。

图1 数据质量保障流程

2 数据质量管理的基础-业务分析

企业生产运营过程中，对业务进行解构、梳理与分析是十分必要的。业务需求不清晰，例如：业务描述、业务规则不清晰，会导致技术无法通过业务构建出合理、正确的数据模型。前期根据业务整理数据范围、数据维度以及数据关系，并依据数据整理的结果制定企业级别的数据标准体系会帮助企业清晰的描述与规范数据。

2.1 确认数据范围

数据激增是当今社会的一大特性，企业会从不同的途径挖掘出大量的业务相关数据，包含结构化数据、非结构化数据（文件）与半结构化数据（模型）。在数据治理前，首先要对业务划分，确定数据治理的范围。例如银行对公业务数据治理，银行对个人业务数据治理等等。

2.2 统计数据维度

在整理数据维度时，往往可以从多个不同的维度对数据进行划分。例如：根据数据的产生阶段，可以把生产线数据分为设计数据、采购数据以及制造数据；根据数据的用途，可以把实时数据可以分为属性描