浅议数据治理模块的几项重要内容

在让数据赋能业务的目标下，对数据进行加载/清洗/加工的处理需求也随着时间的增加而累积。

数据处理初期基本是烟囱式开发，围绕着业务部门提的各类需求进行日常的数据开发。

随着上线任务的积累，数据质量不高、重复开发、加工口径不一致等等问题也逐渐突出。良好的数据治理成为提升工作效率的合适途径。

想象一下，你的厨房里有各种各样的食材、调料和厨具。如果没有合理的组织和管理，找到你需要的东西将非常困难，烹饪过程也会变得混乱。不仅如此，如果不及时清理和整理，食材可能会过期，厨房也可能会变得不卫生。

数据治理就是确保数据“厨房”的整洁、有序，并且运作高效。​

基于目前收集的资料，数据治理主要分为数据发现、模型、成本、质量、指标五项重点内容。

此处先谈一下 对 数据发现 和 指标 两块的浅显认知。

数据发现

在数据开发中，在众多源数据中找到合适的表是一件费劲的事情，尤当源数据由不同的人维护或者没有良好的​数据字典时。

如果有类似数据地图的产品，那“找数”将变得更加​容易。而数据地图的产品背后就是对元数据的系统处理加工​。

元数据是关于数据的数据。以图书馆举例，图书馆里成千上万的书籍。如果没有一个好的系统来描述和分类这些书籍，找到你想要的特定一本书将会是一项艰巨的任务。这里元数据就相当于图书馆中用来描述每本书的那些小卡片——也就是图书馆的目录卡片。每张卡片上都会包含书名、作者、出版日期、主题、位置等信息。将这些卡片的信息进行汇总并沉淀为产品，我们就可以在这个产品上快速检索到相关书籍。

元数据具体分为 数据字典、数据血缘、数据特征三部分。可以借鉴业界开源产品Apache Atlas等构建​对应的元数据中心。

指标

在数据开发工作中，有时会遇到指标​混乱的现象。繁杂的数据指标需要进行统一的管理和​梳理。

结合目前遇到的指标现状和搜集的指标管理方法，整理如下图​。