Xlucas的博客

"数据治理"并不是一个新的概念，国内外有很多组织专注于数据治理理论和实践的研究。目前国际上，主要的数据治理框架有ISO数据治理标准、GDI数据治理框架、DAMA数据治理管理框架等。

企业越大，需要的数据和产生的数据也就越多，而数据越多则意味着就越需要定制适合企业自身有效的数据质量策略，企业数据治理面临哪些问题？

世界经济论坛报告任务"大数据为新财富，价值堪比石油"，数据是企业的重要资产，但是企业数据的管理和使用还存在很多问题，致使数据不能很好的利用起来，从而要企业的数据没能成为数据资产，反而变成了拖累企业的包袱。

最近和朋友一起聊天，聊到数仓最多的话题就是数仓重构，有些企业数仓重构可能好几轮了，一直在重构中，新的模型上线，老的模型继续运营，总是解释不清楚新模型比老模型好在哪里？于是出现了集市的人说数仓模型不好用，数仓的人说集市不使用他们的模型，业务说这些我完全看不懂。那么问题出现在哪里？今天来说道说道。归根到底，没有解决一个问题，在企业发展不同阶段没有弄清楚对数据的诉求。也就没有制定一套指标来衡量数仓模型。如果企业的发展分为起步阶段、业务快速增长阶段、运营阶段。其他这几个阶段对数据的诉求不一样。

数据治理是有效管理企业数据的重要举措，是实现数字化转项的必经之路，对提升企业业务运营效率和创新企业商业模式具有重要意义

数据治理不是对"数据"的治理，而且对"数据资产"的治理

将业务元数据、技术元数据、操作元数据进行元模型打通，以数据虚拟化来驱动数据所见即所得数据及服务的高效服务

数据治理的最终目标是要提升企业数据的利用率和数据价值，通过一套有效的方法对企业的数据资源进行管理

最近在看DAMA元数据模块做了如下的总结，供大家参考学习1、什么是元数据元数据的定义是关于数据的数据，它不仅仅包括了技术和业务流程、数据规则和约束，还包括逻辑数据结构和物理数据结构等。 它描述的是数据本身。2、元数据的作用元数据对于数据管理和数据使用来说都是必不可少的元数据管理提供了获取和管理组织数据的主要方法技术元数据成为数据迁移和集成方法中不可或缺的一部分3、元数据管理的定义通过计划、实施和控制活动确保访问到高质量的、整合的元数据4、元数据管理的目标提供业务可理解的业务术

常用质量管理工具        目前，在质量管理领域，有一系列常用的数据质量管理工具，主要分为传统的质量管理工具、新的质量管理工具和其他质量管理工具。传统的质量管理七大工具         传统的七种工具包含分层法、检查表、帕累托图、因果分析图、直方图、散布图、控制图。分层法：又称层别法、分类法、分组法，是整理数据的重要方法之一，分层法

质量实施方法        数据质量领域研究学者和专家结合自身实践，先后提出了一系列质量管理得项目实施方法，其中以全面信息质量管理、全面数据质量管理、数据管理十步法、六西格玛等。        与传统数据质量管理一样，数据GIGO规则仍然发挥作用，但在由于大数据的多样性、广泛性和价值密度低等特性，使得对“垃圾数据”的认识存在较大得差异。在具体项目

参考架构        大数据质量管理框架覆盖组织在大数据生态链中的所有质量管理相关活动，为组织提供了数据治理管理的方法论，以支撑组织开展大数据质量管理工作，指导决策者将大数据质量管理纳入组织日常工作，建立团队来管理组织的数据资产，确保数据质量能够满足业务运行和管理决策的需要。        结合国内大数据质量管理领域的特点，提出了大数据质量参考

大数据质量的基本概念        数据是表示事物各种属性的基本元素，通常情况下，只要符合数据应用的需要，就可以将它视为合格数据，即数据质量合格。结合质量的定义分析可知，数据质量就是“一组固有特征满足表示事物属性的程度”或“每个元素对于某种应用场景的适合度”。数据质量不但依赖于数据本身的特征，还依赖于使用数据时所处的业务环境，包含数据业务流程和业务用户。      

大数据的特性分析        组织在信息化过程中，传感器、智能设备、企业数据化等技术的应用，致使数据呈爆炸的趋势增长。金融、电信、零售、医疗、保险等数据密集型领域，都已经开展了大数据相关的研究和应用，尝试从大数据挖掘价值、获取洞察，从而有效地协助组织降低风险、提高效率和创造价值，为产业的发展和转型提供支撑。        从大数据应用和发展的视

数据归档        在大数据时代，存储成本显著降低的情况，企业希望在技术方案的能力范围之内尽量存储更多的数据。但大数据时代同样带来了数据的急剧增长，因此数据归档仍然是数据管理必须考虑的问题。与传统的数据备份和数据归档不同的是，大数据时代的数据归档更需要关注数据选择性恢复的功能。        在大数据的正常运行过程中，热数据到温数据、温数据到

数据分析与应用的策略        大数据建设的目的在于分析与应用，只有进行分析与应用，才能够体现大数据的价值，企业应该以下角度，明确大数据的分析与应用的相关策略大数据分析与应用的方向        大数据分析与应用一般可以分为两个方向业务驱动：以业务需求为导向的数据分析与应用。根据业务发展要求提出数据分析与应用的需求。业务人员明确分析

数据可视化        数据可视化是大数据发展的必然趋势，大数据的不断发展，要求每个人都能够从数据中发现价值，这就必然要求每个人都能看懂数据，能够从不同的角度分析数据。而数据的规模越来越大，属性越来越复杂，各类庞大的数据集无法直接通过读数的方式进行理解和分析，这对数据的可视化提出了要求。        数据可视化主要旨在借助于图形化手段，清晰有

批量数据的整合        传统的数据整合一般采用ETL方式，即抽取(Elect)、转换(Transfer)、加载(Load)，随着数据量的加大，以及数据平台自身数据处理技术的发展，目前较为通用的方式为ELT模式，即抽取、加载、转换。数据抽取        业务类系统或流程类系统负责数据的采集，但哪些数据需要整合到数据平台，则需要根据数据

数据的热度（热数据、温数据与冷数据）        大数据时代，首先意味着数据的容量在急剧扩大，这对于数据存储和处理的成本带来了很大的挑战。采用传统的统一技术来存储和处理所有数据的方法将不再适用。而应针对不同热度的数据采用不同的技术进行处理。以优化存储和处理成本并提升可用性。        所谓数据的热度，即根据数据的价值、使用频次、使用方式的不

大数据采集为满足企业或组织不同层次的管理与应用的需求，数据采集分为三个层次。第一层次，业务电子化。为满足业务电子化的需求，实现业务流程的信息化记录，在本阶段中，主要实现对于手工单证的电子化存储，并实现流程的电子化，确保业务的过程被真实记录。本层次数据采集的关注重点是数据的真实性，即数据质量第二层次，管理数据化，为满足企业管理的信息需求，实现对企业和相关方信息的全面采集和整合。在业务电子化的过程中，企业逐步学会了通过数据统计分析来对企业的经营和业务进行管理，因此，对数据的需求不仅仅满足于记录和流程的电

        数据本身存在着从生产到消亡的生命周期，在数据的生命周期中，数据的价值会随着时间的变化而发生变化，数据的被采集粒度与时效性、存储方式、整合状况、呈现和展示的可视化程度、分析的深度，以及和应用衔接的程度，都会对数据的价值的体现产生影响。大数据的治理需要结合大数据生命周期的各个阶段的特点，采取不同的管理和控制手段。与传统数据生命周期出发点不同，大数据生命周期实践中，主要关注的是如何在成本可控的情况下，有效地使大数据产生

|0x00 老大难的数仓治理“年年数据要治理，数据年年治不好”。数仓治理的老大难，通常是跟着业务需求快跑，要不是数据零散在各个团队，或者是大家的研发规范有不同，作为一项通过维度模型来约束规范的工种来讲，“模型”的治理难度，大于“架构”。目前整个行业通常的模型治理方法，是规定一种**建模规范，大家在编码的过程中各自遵守。当业务开始变得模糊不清的时候，再专门抽调时间，来做人工治理。就像黄河一样，流沙清理了一次又一次，但上游还是会冲下新的流沙。数仓的假设既然都是采用的维度建模，那么其设计思想必然是自下而上*

导读：我们知道主数据项目的建设是一个循序渐进、持续优化的过程，不可一蹴而就。个人认为主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段，而每个阶段都是必经阶段，每个阶段均可独立成章，所以这里是四部曲，不是四步曲。主数据项目建设从方法上，分为以下四部，简单归结为12个字：“摸家底、建体系、接数据、抓运营”！一、摸家底摸家底需要全面调研和了解企业的数据管理现状，以便做出客观切实的数据管理评估！1、数据资源普查数据资源普查的方法常用的有两种，一种是自顶向下的梳理和调研，另一种是自底向..

导读：提到“标准”二字，我们第一时间能够想到的就是一系列的标准化文档，例如：产品设计标准、生产标准、质量检验标准、库房管理标准、安全环保标准、物流配送标准等，这些标准有国际标准、国家标准、行业标准、企业标准等。而我们所说的数据标准却不单单是指与数据相关的标准文件，数据标准是一个从业务、技术、管理三方面达成一致的规范化体系。数据标准是什么？数据标准化是指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。——维基百科。笔者理解：数据标准是一套由管理制度、管控流程、技术工具..

导读：元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理，按照科学、有效的机制对元数据进行管理，并面向开发人员、最终用户提供元数据服务，以满足用户的业务需求，对企业业务系统和数据分析平台的开发、维护过程提供支持。元数据管理是企业数据治理的基础。认识元数据元数据(Metadata)，元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据就是描述数据的数据。这么说对于没有技术背景的人来说还是比较抽象的，我给大家举几个例子。在我之前写的一篇文章《关于“数据”的一些概念的.

作者：石秀峰，公众号：learning-bigdata（谈数据）一、什么是数据治理？维基百科：数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。笔者认为：所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段，进行数据的控制，以提升数据质量进而提升数据变现的能力。二、为什么需要数据治理？在我国，各行业的信息化发展和建