干货 | 携程度假数据治理之数据标准管理实践

作者简介

 

Leon Gu，携程数据仓库专家，专注于大数据、数据仓库、数据治理等领域。

本文分享的是数据标准管理在携程度假数据治理中的实践，希望对想要了解和学习数据治理实践的读者有所帮助，也希望能收获宝贵的建议。

一、为什么要做数据标准管理

数据治理的问题并不仅仅只是治理数据本身，其最终目标是提升数据价值，它是一个包括组织、制度、流程、工具的管理体系。去年我曾写过一篇关于数据治理的文章《数据治理落地难？携程度假数据治理需求设计实践》，从团队提效、需求梳理、模型设计、指标管理四个方面分享了携程度假在数据治理中的经验。

数据治理不是简单的一次性的行为，它是一个长期持续性的项目集，要想通过数据治理将企业的数据管理、数据应用水平提升到新高度，而不是沦为理论实践两张皮，需要跨组织职能的协调以及在数据治理的各环节中将标准管理落实到位。

数据治理是涵盖数据的采集、处理、分析、使用的全流程管理体系，数据标准则是数据治理各项活动的基础，是企业数据治理理论和方法与实际信息系统和数据的桥梁。携程度假的实践经验总结发现，数据标准管理需要包含以下三要素：

范围：成功的数据治理应当是清楚地了解需要治理什么

工具：对规范数据治理活动标准提供系统的支持

制度：对在人员和流程方面的行为方式及有效地使用工具提供指导

二、数据标准管理在携程度假的实践

下文将从数据管理的两个核心领域中选取部分案例来分享一下携程度假在数据治理方面的探索与实践：

• 数据集成

• 元数据管理

2.1 数据集成

携程度假覆盖的数据源有业务系统类的结构化数据、埋点日志类的半结构化数据及其他内容类的非结构化数据。数据集成不仅只是解决技术上的从源端抽取到数据中台，其数据内容的变更通常会对现有流程及下游的数据应用产生影响，因此基础数据的管理重点在于变更管理和统一标准管控。这里会介绍针对结构化数据生产变更的标准管理。

2.1.1 生产变更的标准管理

生产变更的标准管理主要解决了以下问题：

第一、哪些变更是需要通知的？

1）结构类变更，这部分的操作都会经过数据库的DDL转换，所以方案上只需要监听变更消息，自动进行解析出核心的变更信息，比如库名、表名、表OWNER、变更类型（新增/修改/删除）、变更对象（表/字段）等，并且定义一个标准的数据结构用于通知。目前工具可以对以下类型的变更做自动化感知及通知：

• 新增字段

• 修改字段名

• 修改字段类型

• 删除字段

• 修改表名

2）内容类变更，这部分往往通过系统化的方式无法感知到，需要对应表的研发评估出影响面，并线下周知下游。这种方式常常会有两种问题产生，其一是影响面评估不准——漏报；其二是依赖人的责任心——忘报。目前工具可以对以下类型的变更做线上人工提报及通知࿱