如何获取Hive正在执行或已结束的SQL语句

本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件,另一种是通过Cloudera Manager界面直接查看。

一、通过YARN执行作业的xml配置文件

1.通过Hue执行SQL查询,Job Browser页面可以获取该SQL执行的ApplicationID,如下:
在这里插入图片描述

2.通过ApplicationID获取正在执行作业的配置信息,执行如下:

curl -H "Accept: application/json" -X \
GET http://master:8088/proxy/application_1534299721148_0845/ws/v1/mapreduce/jobs/job_1534299721148_0845/conf > a.xml

在这里插入图片描述
通过hive.query.string属性过滤查看a.xml文件

在这里插入图片描述
通过获取接口,可获取运行中Hive作业的SQL语句,该信息对应HDFS的 /user/ U S E R / . s t a g i n g / USER/.staging/ USER/.staging/JOBID/job.xml文件

3.如果作业执行完成将接口改为JobHistory的API接口执行,执行如下:

curl -H "Accept: application/json" -X \
GET http://master:19888/ws/v1/history/mapreduce/jobs/job_1534299721148_0845/conf > b.xml

在这里插入图片描述

通过hive.query.string属性过滤查看b.xml文件

在这里插入图片描述
通过JobHistory的API接口,可获取Hive历史作业执行SQL语句,该信息对应HDFS的/user/history/done/2018/08/28/000000/job_1534299721148_0845_conf.xml文件

2.通过Cloudera Manager

1.选择Yarn的“应用程序”->“Suggestions”->“Hive应用程序”

在这里插入图片描述
在这里插入图片描述
2.选择某个Hive作业,点击箭头可以展开查看完整的SQL,并察看查询的基本统计信息
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值