![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据治理
文章平均质量分 82
元数据、元数据管理、元数据可视化、血缘管理、元数据查询
小基基o_O
GitHub:https://github.com/AryeYellow
码云:https://gitee.com/arye
展开
-
梳理MySQL数据逻辑和元数据的技巧
MySQL元数据概览TABLESCOLUMNS查建表语句E-R图批量表抽样,查看具体数据information_schemaTABLE_TYPE原创 2022-04-19 19:49:23 · 1090 阅读 · 0 评论 -
数据开发中的数据质量校验
数据开发不同于后端开发之处在于:后端开发可是有测试妹子帮忙进行功能测试的噢~而数据开发工程师却没有。数据逻辑错误不像功能bug那么明显,计算结果错误并不会使程序报错对此建立数据逻辑校验机制,包括:左联前后数量校验(联表后数据量=左表数据量)度量值是否可加每日分区数据量统计数值类型校验,是否越界,是否损失精度重复值和NULL检测时间数据类型校验,注意时区...原创 2022-09-01 09:24:41 · 981 阅读 · 0 评论 -
大数据集群硬盘资源监控
计算HDFS每天数据增量计算数仓每天数据增量计算数仓ODS层和DWD层每天数据增量原创 2022-03-04 09:46:11 · 2383 阅读 · 2 评论 -
查询所有HIVE表分区数据量
查询HIVE表分区的数据占用和行数,用于数据治理通常,每天一个分区;通常,今天查看昨天分区数据量本文日期分区字段为ymd原创 2022-08-30 08:41:48 · 7411 阅读 · 1 评论 -
Atlas部署并集成HIVE
Atlas安装分为:集成自带的HBase+Solr 和 集成外部的HBase+Solr,本文是集成外部的安装Solr前需要装好JDK、Zookeeper、Kafka、HBase、Hive集群规划安装SolrApache SolrTM是 建立在Apache LuceneTM之上的 开源的企业搜索平台在此处,Solr的作用是:加快元数据的搜索...原创 2022-01-30 11:44:21 · 3500 阅读 · 0 评论 -
HIVE注释修改、元数据管理
元数据(Metadata):描述数据的数据例如学生信息表中,小黄和15是数据,和age是元数据元数据分类说明示例技术元数据数仓的设计和管理人员 用于开发和管理数仓时用的数据数据源信息、数据转换的描述、源数据到目的数据的映射业务元数据能体现业务逻辑表和字段的业务描述元数据管理:注释管理、血缘分析、元数据分类、元数据查询…目的:帮助开发人员快速理解业务和查找字段,降低开发的运维成本。......原创 2022-01-21 15:36:39 · 2923 阅读 · 0 评论 -
数仓模型HIVE业务元数据治理:专题构建方案
专题、专题域、主题、主题域、数据域、离线数据仓库、数仓、业务元数据、数据治理、元数据、元数据搜索、表注释、元数据可视化原创 2022-04-30 14:49:18 · 1623 阅读 · 1 评论