10.数据中台-数据仓库管理平台-数据管理

本文详细介绍了数据中台数据仓库管理平台的数据管理,特别是数据血缘分析和巡检工具的实现。数据血缘分析用于问题排查和系统健康判定,通过hook埋点实现血缘全自动采集。巡检工具则检测数据流程规范化和无用表,以维护数据的合规性。
摘要由CSDN通过智能技术生成
《数据管理》
      数据管理即元数据管理,又称为全局数据定位,旨在对开发的规范化指标和表的一系列全局信息进行查询,使得开发人员能快速定位数据,形成我们的数据地图。数据管理模块分为四个子模块:指标管理、数据表管理、数据血缘分析和巡检工具,每个模块的作用请参考《数据仓库管理平台-整体方案》章节中的说明,这里不再赘述。
   由于指标管理和数据表管理子模块和数据开发模块中的指标管理和数据表管理子模块类似(前者为所有项目的表和指标的查询,后者为单个项目维度的指标和表的增,删,改,查的管理功能),在实现方式上涉及的表一致,这里也不再重复阐述。
   下面重点说明数据血缘分析和巡检工具两个子模块的实现:
   一.数据血缘分析
     1.说明
      缺乏血缘分析会出现《数据仓库管理平台-整体方案》章节中提到的缺乏问题自动化排查能力,缺乏对数据表生命周期管理等问题。通过建立血缘分析机制可以提高问题解决效率;帮助判定系统和表的健康情况,具体收益如下:
     A.问题排查,故障快速定位,减少运维人员和开发人力排查成本。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大樊聊数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值