HIVE元数据收集（python版本）

收集指标查看

数仓-HIVE元数据收集指标

一、已有工具

• 1、ZEUS （任务调度工具）
• 2、Dr-Elephant （任务调优工具）
• 3、Apache Griffin （数据质量工具）

二、最终落地Hbase表结构

row_key: action_id__hive_table

（调度元数据）
列族: scheduler
列: 调度名、开始时间、结束时间、action_id、所属用户

（计算资源元数据）
列族: computing
列: application_id的 map数量 reduce数量

（存储元数据）
列族: store
文件占用大小、文件量

（存储元数据）
列族: quality
列: 精准度、自定义监控值

三、收集元数据的流程

• 1、通过zeus元数据 mysql表（zeus_action_history）得到最近10分钟～5分钟完成的action_id，获取调度相关元数据
• 2、通过zeus action log 获取 yarn_job_id，从 Dr-Elephant后台数据里找到 计算资源元数据。
• 3、通过HIVE表名，找到存储元数据
• 4、通过调用Apache Griffin数据质量工具的API接口，调用执行检测数据质量的脚本，将调