数据仓库(11)什么是大数据治理，数据治理的范围是哪些

张飞的猪

已于 2022-09-21 10:41:57 修改

阅读量3.2k

点赞数 1

分类专栏：数据仓库的学习笔记文章标签：数据仓库数据治理数据管理 ETL 大数据

于 2022-05-06 21:35:47 首次发布

本文链接：https://blog.csdn.net/lin_bingfeng/article/details/124619393

版权

数据仓库的学习笔记专栏收录该内容

13 篇文章 8 订阅

订阅专栏

数据治理是大数据时代的重要基础，涵盖主数据管理、元数据管理、数据标准、数据质量、数据安全、数据计算和数据存储等方面。主数据管理涉及数据分层、统一视图等；元数据管理包括技术元数据和业务元数据，用于记录数据全生命周期；数据标准确保数据的一致性和准确性；数据质量管理关注数据的唯一性、完整性等；数据安全管理则涉及加密、脱敏等措施；数据计算管理优化计算资源；数据存储管理则面对数据增长的挑战，实现存储优化。

摘要由CSDN通过智能技术生成

文章目录

什么是数据治理,数据治理包含哪些方面？大数据时代的到来，给了我们很多的机遇，也有很多的挑战。最基础的调整也是大数据的计算和管理，数据治理是一个特别重要的大数据基础，他保证着数据能否被最好的应用，保证着数据的安全，治理等。那么数据治理到底能治什么，怎么治？

数据治理主要包含七个方面。

主数据管理

即数据本身的管理，对于数据本身，基于数据仓库，我们做了数据的分层、数据域的划分、基于维度建模的架构、命名规范、对需要共享的数据建立统一视图和集中管理等，这些都是属于这个主数据管理的范围。

元数据管理

元数据，即数据的数据。包含两个个方面，技术元数据、业务元数据。用于打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。

在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。

技术元数据

技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。

数据本身技术元数据有：表、列、分区等信息。记录了表的表名。分区信息、责任人信息、文件大小、表类型，生命周期，以及列的字段名、字段类型、字段备注、是否是分区等信息。
分布式计算系统运行元数据，如集群上所有作业运行信息，类似于Hive Job 日志，包括作业类型、实例名称、输入输出、 SQL 、运行参数、执行时间、最细粒度的Instance 执行信息等。数据同步、计算任务、任务调度等信息，包括数据同步的输入输出表和字段，以及同步任务本身的节点信息，计算任务主要有输入输出、任务本身的节点信息，任务调度主要有任务的依赖类型、依赖关系等，以及不同类型调度任务的运行日志等。
数据质量和运维相关元数据，如任务监控、运维报警、数据质量、故障等信息，包括任务监控运行日志、告警配置及运行日志、故障信息等。

业务元数据

业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够懂”数据仓库中的数据。

企业业务元数据，有维度及属性、业务过程、指标等的规范化定义，用于更好地管理和使用数据。
数据应用元数据，如数据报表、数据产品等的配置和运行元数据。

数据标准

数据标准建设提供全面完整的数据标准管理流程及办法，用于决定和建立单一、准确、权威的事实来源，实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，并为数据质量检查、数据安全管理提供标准依据。比如，“客户类型”是一个数据项，应该有统一的业务含义，将客户归类为大客户、一般客户的规则是什么，数据项的取值是几位长度，有哪些有效值（如01，02，03）等。这方面有国际标准可以参考，如ISO11179，国内很多行业也制定了行业数据标准，如电子政务数据元、金融行业统计数据元等等。共同的问题是，标准定义出来之后，执行的情况怎么样？是否真正落实到IT系统了，谁为数据的管理者等。

这里主要包含三个方面，技术定义、业务定义以及数据管理定义。