浅谈数据治理方法

本文探讨了数据治理的重要性,旨在构建高效数据仓库。主要方法包括优化模型设计,如增强完善度、复用度、规范度和扩展性,通过建立数据指标字典来提升使用便利性;完善数据平台,利用任务调度管理和资源监控确保稳定性;以及实施严格的权限管理,保护企业关键数据,涉及从Hive表到前端报表的多层次权限控制。
摘要由CSDN通过智能技术生成

数据治理的目的

数据治理的目的是要构建更好用的数据仓库,下图为数据仓库好坏的衡量标准
在这里插入图片描述

数据治理的方法

根据上图可知数据治理可以分为以下两个方面入手

优化模型设计(完善度、复用度、规范度、扩展性)

-1、建立数据指标字典wiki,将各层(尤其dws) 模型字段和etl流程详细记录下来,可以让使用者通过查阅wiki就能够轻易上手
-2、让数仓工程师专心负责少数主题(避免所有主题都接触,但是了解都不深),以提高业务熟悉度。每个人对自己负责的几个业务方向精通,整个团队的业务熟悉水平就能得到提高。

完善数据平台

数据平台的以下几个点可辅助数据治理

  • 1、任务调度的管理(数据血缘、任务延迟检测)
  • 2、任务资源的监控(cpu占用率、gc频率、磁盘占用)
  • 3、小文件的管理(可开启小文件合并开关,必要时对任务产出结果进行合并)

管理权限

权限管理可保护企业的重

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左林右李02

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值