深度｜企业如何去做数据标准建设和应用

大数据时代下，随着数据应用和分析挖掘的逐步深入，由于数据标准不统一造成的数据使用问题越来越多。特别是对于企业而言，如果没有进行数据标准体系的建设，不同人员对于数据的理解很难达到完全一致，导致工作中经常出现数据统计口径偏差，系统开发与实际需求的偏差等问题。另外企业的各个系统一般都是不同厂商建设的，所以不同系统之间的标准不一致，从而导致不同系统之间数据融合应用困难。

本文将针对这些问题，从数据标准基础概念出发，结合企业数据建设现状，跟大家分享一下数据标准所带来的价值，以及如何去完成企业数据标准建设。具体包括以下几部分内容：

第一部分：数据标准相关概念，包括数据标准定义、分类。

第二部分：国内企业数据建设的现状是怎样的，数据使用过程中一般会碰到哪些由于缺乏数据标准所造成的问题，数据标准建设能够为企业带来哪些价值。

第三部分：如何建设数据标准，包括数据标准的建设流程以及范围圈定、落标策略、工具选型等几个关键点。

第四部分：实际案例，结合我方做过的某个银行的数据标准案例，从实际出发阐述数据标准建设的内容和效果。

一、数据标准概念

1、数据标准定义

数据标准（Data Standard）是指保障数据定义和使用的一致性、准确性和完整性的规范性约束。

对于企业而言，通俗来讲，数据标准就是对数据的命名、数据类型、长度、业务含义、计算口径、归属部门等，定义一套统一的规范，保证各业务系统对数据的统一理解、对数据定义和使用的一致性

2、数据标准管理目标

数据标准管理的目标是通过统一的数据标准制定和发布，结合完善的数据标准管理体系，实现数据的标准化管理，保障数据的完整性、一致性、规范性，为后续的数据管理提供标准依据。

3、数据标准分类

一般可从三个维度去进行数据标准分类，包括从数据结构的维度，数据内容来源的维度和技术业务的维度。

1）从数据结构角度的标准分类：

结构化数据标准是针对结构化数据制定的标准，通常包括：信息项分类、类型、长度、定义、值域等。

非结构化数据标准是针对非结构化数据制定的标准通常有：文件名称、格式、分辨率等。

2）从数据内容来源角度的标准分类：

基础类数据标准是指业务系统直接产生的明细数据和相关代码数据，保障业务活动相关数据的一致性和准确性。

派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据，例如：统计指标、实体标签等。

3）从技术业务角度的标准分类：

业务数据标准是指为实现业务沟通而制定的标准，通常包括：业务定义和管理部门，业务主题等。

技术数据标准是指从信息技术的角度对数据标准的统一规范和定义，通常包括：数据类型、字段长度、精度、数据格式等。

二、企业数据建设现状

企业大多数系统的建设都是直接依据业务需求建立，并没有一个整体的规划，另外不同系统的建设厂商可能也不一样，所以不同系统之间数据的不一致性难以避免，究其根源，还是没有一套统一的数据标准来进行约束。

企业在对数据的使用过程中，出现的很多数据问题，都是由于缺乏标准约束和整体规划设计造成的，如下：

1.数据存储结构不一致，调用多系统的数据时，由于某些数据在不同系统中数据存储结构不同，导致数据无法直接关联，影响不同系统之间的数据共享。

2.数据定义不一致，不同系统对数据的命名、业务含义、取值范围等定义不同，比如同名不同义、同义不同名等

3.数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多沟通时间。

4.数据来源不一致，数据存在多个来源，在数据使用时，不清楚应该取哪个系统的数据。

通过数据标准的建设，可消除数据跨系统的非一致性，从根源上解决数据定义和使用的不一致问题，为企业数据建设带来诸多好处：

数据标准的统一制定与管理，可保证数据定义和使用的一致性，促进企业级单一数据视图的形成，促进信息资源共享。通过评估已有系统标准建设情况，可及时发现现有系统标准问题，支撑系统改造，减少数据转换，促进系统集成，提高数据质量。数据标准可作为新建系统参考依据，为企业系统建设整体规划设计打好基础，减少系统建设工作量，保障新建系统完全符合标准。同时，数据标准建设也为企业各类人员提供相应的支撑：

对业务人员而言，数据标准建设可提升业务规范性，保障人员对数据业务含义理解一致，支撑业务数据分析挖掘以及信息共享；

对技术人员而言，有数据标准作为支撑，可提升系统实施工作效率，保障系统建设符合规范，同时降低出错几率，提升数据质量；

对管理人员而言，数据标准建设可提供更加完整、准确的数据，更好的支撑经营决策、精细化管理。

三、如何建设数据标准

其实现在很多企业已经逐渐意识到数据标准的重要性，但是苦于没有成熟解决方案、完善的标准体系制度以及相关经验，不知数据标准的建设该从何下手。这里笔者根据以往的数据标准项目经验，总结了一些数据标准建设流程和关键点，供大家参考。

首先数据标准建设需要有相应的数据标准管理组织，并分配好各自的职能，一般数据标准管理组织包括：数据标准决策层，数据标准管理部门和数据标准工作组。

另外数据标准管理工作的展开还需要一系列的数据标准管理制度，包括：数据标准管理办法文件、数据标准规范文件、数据标准管理操作文件等等。

有了相应的数据标准管理组织和制度作为保障，数据标准建设的实施流程如下：

第一阶段：标准规划

从实际情况出发，结合业界经验，收集国家标准、现行标准、新系统需求标准以及行业通行标准等，梳理出数据标准建设的整体范围，定义数据标准体系框架和分类，并制定数据标准的实施计划。

第二阶段：标准编制

根据数据标准体系框架和分类，先确定各分类数据标准模板，然后由相关人员依据相关国标、行标、技术业务需求等调研结果，进行数据标准的编制，形成数据标准初稿。

第三阶段：标准评审发布

标准编制完成后，为保证数据标准的完整、规范，还需要对数据标准进行评审，在充分征求专家意见以及各相关部门人员意见后，对数据标准进行修订和完善。完善后的数据标准经过领导审批通过后，即可发布到全企业，形成正式的数据标准。

第四阶段：标准落地执行

不是所有的数据标准都能够完全落地，实际工作中可能会存在历史系统无法改造的情况，所以首先确定数据标准落地策略和落地范围，并制定相应的落地方案，然后推动数据标准落地方案的执行，对标准落地情况进行跟踪并评估成效。

第五阶段：标准维护增强

数据标准后续可能会随着业务的发展变化、国标行标的变化、以及监管要求的变化需要不断更新和完善。在数据标准维护阶段，需要对标准变更建立相应的管理流程，并做好标准版本管理。

另外数据标准建设过程中，还有几个关键点，需要大家注意：

1、标准范围圈定

不是所有的数据都需要建立数据标准，企业实际数据模型中有上万个字段，有些模型还会经常变换更新，如果把这些信息全部纳入到标准体系中耗费工作量巨大，很难真正实现落地。仅需要对核心数据建立标准并落地，即可达到预期效果，同时也提升了工作效率。

数据标准范围圈定建议如下：

共享性高、使用频率高的字段需入标监管报送或发文涉及到的业务信息需入标结合数据使用情况，对于关键数据的字段尽量入标数据应用有使用需求的字段需入标与系统人员沟通其系统内重要信息来辅助入标判断2、落标策略

数据标准落地的工作中，肯定会遇到很多困难，比如某些历史系统无法改造或者改造成本过大，导致无法落标。这就需要我们针对不同的系统，建立不同的落标策略。

对于新建系统，一般采用强制落标的策略，即新建系统必须符合数据标准，在新系统上线前对其进行数据标准落地评估，如评估结果不合格，则令其整改。

对于已有的历史系统，采用建议落标的策略，首先将已有系统的标准问题找出来，并进行分析和整理，综合多方面考虑，包括工作量、整改风险、周期、成本等等，制定了最有效的落标策略，比如等到以后系统升级改造时再落标，通过逻辑转换方式落标，通过数据仓库落标等等。

3、工具选型

数据标准建设工作量还是比较大的，完全依靠人工不太现实，所以需要一套完善、易用的数据标准管理工具帮助我们将数据标准建设工作落地。

数据标准管理工具应包括：标准分类管理、标准增删改查、标准导入导出、标准评审、标准发布、标准版本管理、标准落地映射、标准落地评估、标准监控等功能。同时为更好的保障数据标准的落地，最好结合元数据管理工具一起使用。

亿信华辰数据标准管理平台ESDataStandard提供了一套完整的数据标准管理流程及办法，通过统一的数据标准制定和发布等一系列的活动，结合制度约束、系统控制等手段，实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理。

四、实际案例

最后跟大家分享一个基于亿信华辰数据标准管理平台实际落地的一个数据标准建设案例，这个是在某银行做的数据标准项目。

1、项目背景

首先是有监管部门的要求以及政策的导向。人行先后下发了《金融机构信息管理规定》、《存、贷款统计分类及编码标准》等多项标准，并于2014年发布《银行数据标准定义规范》，促进金融统计标准化工作进行，加大数据标准化的工作力度。2018年5月，银保监发布《银行业金融机构数据治理指引》，要求银行业金融机构将数据治理纳入公司治理范畴，并与监管评级挂钩。

同时也是银行自身的需求导向，包括银行内部分析决策需求，风险管理的需求以及系统建设要求，均需要提供统一标准且高质量的数据。

2、建设内容

1）数据标准管理体系的框架搭建。

2）数据标准管理主要流程的设计：包括数据标准编制流程，数据标准执行流程和数据标准修订流程。

3）数据标准的落地实施：通过对源系统进行数据标准的满足度评估来推动数据标准的落地执行。

3、建设成果

1）确定了该银行数据标准体系框架。

2）形成了该银行数据标准管理体系制度。

3）建立基础数据标准600余条，覆盖了公用信息、产品、协议、资产、事件、渠道、参与人、财务8个主题的核心数据，建立代码数据标准200余条。

4）将数据标准实施落地，保障核心数据的规范性和一致性。

5）显著提升了向监管报送的数据质量，大大减少了IT部门数据质量处理任务工单，提升了取数效率。

结语：企业数据标准的建设需要借助技术手段实现数据标准的实施落地。通过系统管理，推进数标的持续更新，保持数据标准生命力。更多关于数据标准案例的介绍，更详细的数据标准建设方法，更完善的数据标准工具体验，如感兴趣查看往期文章。