目录
今天开始开启新的一个篇章，数据治理领域，这个领域有很多知识要学，文中大部分专业知识来自于微信公众号，先说说数据标准
数据标准：
导读：提到“标准”二字，我们第一时间能够想到的就是一系列的标准化文档，例如：产品设计标准、生产标准、质量检验标准、库房管理标准、安全环保标准、物流配送标准等，这些标准有国际标准、国家标准、行业标准、企业标准等。而我们所说的数据标准却不单单是指与数据相关的标准文件，数据标准是一个从业务、技术、管理三方面达成一致的规范化体系。
数据标准建设方法和流程
数据标准就是通过制定一套由管理制度、管控流程、技术工具共同组成的体系，来对数据定义、分类、格式、编码等标准化管理。通俗地讲，对企业来说，数据标准就是对数据类型、长度、归属部门等定义一套统一的规范，以保障不同业务系统之间可以做到对同样的数据理解统一和使用统一。
01 什么是数据标准？
数据标准化是指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。数据标准是一套由管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
数据标准根据不同的数据域分为基础、分析类和专有类三类，其中：
-
基础类数标是企业日常业务开展过程中所产生的具有共同业务特征的基础性数据，如客户、产品、财务等。
-
分析类数标是为满足公司内部管理需要及外部监管要求，在基础性数据基础上按一定统计、分析规则加工后的数据。
-
专有类数标是公司架构下子公司在业务经营及管理分析中所涉及的特有数据。
其中，针对基础类数标，可以看一下金融行业经常用的数据标准十大主题模型。该模型是以主题组织数据，包括客户、资产、机构、产品等主题。
那么针对某个数据主题，数据标准到底由那几部分组成呢？
一般数据标准会包括：主题定义、信息项、标准代码三个文档，其中：
-
标准主题定义文档：主要是记录数据标准的定义、分类，用于规范和识别数据的主题归属。
-
标准信息项文档：记录数据主题的信息项业务属性（分类、业务含义、业务逻辑）和技术属性（类型、长度、默认规则）。
-
标准代码文档：记录信息项固定码值的编码、分类、使用规则等。
信息项文档是数据标准的核心。内容包括分类、业务描述和技术描述，一般由信息大类、信息小类、信息项、信息项描述、信息类别、长度共6项组成。当然这些内容也可以调整，例如信息大类、小类，可以合并，或者拆除更多层级。
信息大、小类是对信息项的常规分类，例如：例如客户信息大类包括基本信息、联系信息、关联信息、财务信息、风险信息、评价信息、往来信息七大类；信息小类，包括：客户编号、名称、证件、地址、评级信息、模型评分、等级、开办业务等。
信息项是用来描述一个事物的最基本元素。表示一个事物的识别、限制、数量、分类、状态，或者事物间的关系，例如客户信息的名称、年龄、性别等。
信息项描述是描写或者规范信息项的具体业务描述及界定。
信息类别是根据业务需求，定义相应的信息项在数据库中所需要的技术格式。例如：编号、标志、代码、金额、日期、数值、文本等。
长度是信息项的数据长度，供各系统建设参考使用。
02 为什么需要数据标准？
大部分企业的系统建设都是依据业务需求来的，没有一个整体的规划，没有考虑是否与其它系统的功能或数据存在重复的问题，而且各个系统由不同的厂商和产品搭建，所以不同系统之间数据的不一致性难以避免，也造成多种数据问题：
1、数据共享难以实现
数据存储结构不一致，调用多系统的数据时，由于某些数据在不同系统中数据存储结构不同，导致数据无法直接关联，影响不同系统之间的数据共享。
2、数据同名不同义导致错误
数据定义不一致，不同系统对数据的命名、业务含义、取值范围等定义不同，比如同名不同义、同义不同名等。
3、沟通成本增加
数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多时间来进行沟通。
4、数据来源不明
数据来源不一致，数据存在多个来源，在使用数据时，不清楚应该取哪个系统的数据。
简单来说，企业下分支各自都有自己的信息管理系统，分别管理自己的业务形态，当总公司要进行数据整合的时候，几个系统的信息都会进行存在一张信息表中，其实这个就是在建立数据标准。
那么要建立一个数据管理平台，统一存储各个分支全部的交换信息时，信息表该如何创建？这就需要创建信息标准来整合企业内部不同部门业务系统产生的信息。
数据标准化的过程其实就是在数据管理平台实现数据标准，并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中，实现数据标准化的过程。
所以，数据治理的第一步就是要梳理清楚企业拥有哪些数据，并整合数据。而构建数据整合平台则必须要建立一套数据标准和数据模型，实现数据的标准化。
03 数据标准分类
一般可从三个维度去对数据标准进行分类：数据结构、数据内容来源、技术业务。
1、从数据结构角度进行的数据标准分类
结构化数据标准是针对结构化数据制定的标准，通常包括：信息项分类、类型、长度、定义、值域等。
非结构化数据标准是针对非结构化数据制定的标准，通常包括：文件名称、格式、分辨率等。
2、从数据内容来源进行的数据标准分类
基础类数据标准是指业务系统直接产生的明细数据和相关代码数据，保障业务活动相关数据的一致性和准确性。
派生类数据标准是指基础类数据根据管理运营的需求加工计算而派生出来的数据，例如：统计指标、实体标签等。
3、从技术业务角度进行的数据标准分类
业务数据标准是指为实现业务沟通而制定的标准，通常包括：业务定义和管理部门，业务主题等。
技术数据标准是指从信息技术的角度对数据标准的统一规范和定义，通常包括：数据类型、字段长度、精度、数据格式等。
04 数据标准建设方法和流程
首先，对企业业务域进行定义，并对每个业务域中的业务活动进行梳理，同时需要收集各类业务单据、用户视图，梳理每个单据和用户视图的数据对象。
其次，针对数据对象的进行分析，明确每个数据实体所包含的数据项，同时，梳理并确定出该业务域中所涉及的数据指标和指标项。分析并定义每个数据实体或指标的数据项标准，包括：数据项的名称、编码、类型、长度、业务含义、数据来源、质量规则、安全级别、域值范围、管理部门等。
第三，梳理和明确所有数据实体、数据指标的关联关系，并对数据之间的关系进行标准化定义。数据关系也是数据标准管理的内容。
第四，通过以上梳理、分析和定义，确定出主数据标准管理的范围。
=====================================================================
数据标准实施过程包括数据标准规划、数据标准现状调研、标准设计、标准的实施映射、标准执行以及在使用过程中维护增强等过程。
主要内容包括：数据标准的范围有哪些，数据标准目前状况是怎样的，数据标准如何进行设计，数据标准实施映射应该如何去做，数据标准执行应该如何开展，如何对数据标准进行维护并完善等。
数据标准的设计从需求发起到落地执行，一般需要经过标准编制、标准审查、标准发布、标准贯彻几个阶段：
1、数据标准规划，
需要考虑业务计划、应用范围、数据中体、服务对象、优先策略等。在开展数据标准规划时可以采用引进业界实施经验，根据业务的优先顺序和实施难易程度，规划标准的框架体系以及实施路径的方式开展实施工作。
2、数据标准现状调研，
需要考虑现有定义、使用习惯、问题梳理、现状分析、参考文档等。可以通过调查问卷、安排现场访谈、收集文档资料等手段，针对不同的业务系统选用合适的调研方式，对现有定义、使用习惯、数据分布、数据流向、业务规则、服务部门等开展相关调研工作。
3、数据标准设计，
是对数据标准的主题、信息大类、信息小类、信息项、数据类型、数据长度、数据定义、数据规则等进行规划设计。在方法论指导下，完成数据标准设计和定义工作，包括数据业务描述定义(业务属性)、类型长度定义（技术属性）、其他标准信息定义。
4、数据标准实施映射，
要明确需要映射内容的系统范围、应用领域、数据库表、数据字典、数据字段等。将已定义的数据标准与业务系统、业务应用进行映射，表明标准和现状的关系以及可能影响到的应用。
5、数据标准执行，
要充分考虑业务需求和实施难易程度上确定执行原则，最大程度上结合目标和现状，针对不同类型系统制定相应策略，并设定合理阶段性目标。执行建议可从业务流程、业务系统、管理应用及数据平台等各方面提出数据标准执行的建议。
6、数据标准维护增强
是需要进行标准发布、管理机制、工作流程、配置工具等方面。结合数据管理需求和机制，组建组织机构，培训、培养管理员，负责相应工作，建立配套规章制度，利用管理工具维护更新标准并监控其执行情况。
05 建立数据标准有哪些好处？
上述问题，任何一个的出现都会让人头痛不已，但是通过数据标准的建设，却可以有效消除数据跨系统的非一致性，从根源上解决数据定义和使用的不一致问题，为企业数据建设带来诸多好处：
数据标准的统一制定与管理，可保证数据定义和使用的一致性，促进企业级单一数据视图的形成，促进信息资源共享。
通过评估已有系统标准建设情况，可及时发现现有系统标准问题，支撑系统改造，减少数据转换，促进系统集成，提高数据质量。
数据标准可作为新建系统参考依据，为企业系统建设整体规划打好基础，减少系统建设工作量，保障新建系统完全符合标准。
同时，数据标准建设也为企业各类人员提供了强有力的支撑：
对业务人员而言，数据标准建设可提升业务规范性，保障人员对数据业务含义理解一致，支撑业务数据分析、挖掘及信息共享。
通过对实体数据的标准化定义，解决数据不一致、不完整、不准确等问题，消除数据的二义性，使得数据在企业有一个全局的定义，减少了各部门、各系统的沟通成本，提升企业业务处理的效率；标准统一的数据指标体系，让业务人员也能够轻松获取数据，并能够自助式的进行数据分析，为基于数据的业务创新提供可能。
对技术人员而言，有数据标准作为支撑，可提升系统实施工作效率，保障系统建设符合规范，同时降低出错率，提升数据质量。
统一、标准的数据及数据结构是企业信息共享的基础；标准的数据模型和标准数据元为新建系统提供支撑，提升应用系统的开发实施效率；数据标准化清晰定义数据质量规则、数据的来源和去向、校验规则，提升数据质量。
对管理人员而言，数据标准建设可提供更加完整、准确的数据，更好的支撑经营决策、精细化管理。
通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理和分析效率，提供业务指标的事前提示、事中预警、事后提醒，实现数据驱动管理，让领导能够第一时间获取决策信息。
06 数据标准管理组织
数据标准管理是企业数据治理的一部分，数据标准管理是一个涉及范围广、业务复杂、数据繁杂的工程。数据标准管理的实施绝非是一个部门的事情，不能在企业的单一部门得到解决。需要从整个组织考虑，建立专业的数据治理组织体系，制定企业数据战略和实施路线图，明确各阶段数据标准工作的目标和内容，并监督及考核数据标准的贯彻与执行。
数据标准管理组织或数据治理组织从职能划分上可以分为三层，如下图所示：
1、数据标准管理委员会，即数据治理的决策层，主要负责制定企业数据战略、把控数据治理的总体策略，审查数据标准的贯彻执行情况。
2、数据标准管理办公室，是数据治理的经营管理层，主要负责企业数据标准的制定、审查数据质量，贯彻数据标准落地。
3、数据标准执行层或业务操作层，主要负责数据标准的贯彻执行，并为数据标准的编制和优化提供数据和意见。
07 数据标准与主数据、元数据、数据质量的关系
数据标准与主数据的关系
从范围上看，数据标准包括数据模型标准、主数据标准、参照数据标准、数据指标标准和其他数据元标准，主数据是数据标准的一个子集；从数据梳理和识别、能力成熟度评估、数据标准编制、数据管理和应用、管理体系建设、实施涉及的业务面等方面，数据标准和主数据都是基本相同的。企业在数据治理项目中，有整体建设的，包含了：元数据、主数据、数据标准等领域；也有分开建设的，例如：主数据项目单独立项，数据标准管理和数据仓库放在一起实施；企业应根据自身的实际情况和需求，明确实施范围和内容，制定适合企业发展需要的数据治理路线图。
数据标准与元数据的关系
元数据是数据标准的基础，企业在制定数据标准的时候最先需要明确的就是数据业务属性、技术属性和管理属性，而这三类属性就是我们所说的业务元数据、技术元数据和管理元数据。基于元数据的数据标准管理，为业务实体的定义、关系和业务规则到IT实现之间提供清晰、标准的语义转换，提高业务和IT之间的一致性，保障IT系统能够真实反映业务事实。并为数据标准系统与其他业务系统的集成，提供有关数据标准、数据映射关系和数据规则的描述，为业务系统的集成提供支撑。
数据标准与数据质量的关系
没有标准化就没有信息化，那就更谈不上数据质量了。通过对数据标准的统一定义，明确数据的归口部门和责任主体，为企业的数据质量和数据安全提供了一个基础的保障。通过对数据实体、数据关系以及数据处理阶段，定义统一的标准、数据映射关系和数据质量规则，使得数据的质量校验有据可依，有法可循，为企业数据质量的提升和优化提供支持。
08 总结
数据标准管理是企业数据治理的基础，没有标准化，更加谈不上数据质量。在得到标准评估结果后，需要根据结果的反馈对系统数据进行整改。
由于实际业务场景或其他因素的制约，数据整改并不是一次性的，而是要经过多次迭代，不断整改，从而得到符合企业预期的数据服务。企业也是在不断发展的，在这个过程中，系统数据也是在不断变更的。因此，数据整改也是随着企业的发展而不断适应和发展。
2114
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
