如何获取Hive正在执行或已结束的SQL语句

最新推荐文章于 2023-09-07 14:52:56 发布
最新推荐文章于 2023-09-07 14:52:56 发布
阅读量4.4k 收藏 8
点赞数 1
分类专栏： Hive 文章标签： hive
原文链接：https://cloud.tencent.com/developer/article/1197180
版权

本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句，一种是通过MapReduce API获取执行作业的xml配置文件，另一种是通过Cloudera Manager界面直接查看。

一、通过YARN执行作业的xml配置文件

1.通过Hue执行SQL查询，Job Browser页面可以获取该SQL执行的ApplicationID,如下：
在这里插入图片描述

2.通过ApplicationID获取正在执行作业的配置信息,执行如下：

curl -H "Accept: application/json" -X \
GET http://master:8088/proxy/application_1534299721148_0845/ws/v1/mapreduce/jobs/job_1534299721148_0845/conf > a.xml

在这里插入图片描述
通过hive.query.string属性过滤查看a.xml文件

在这里插入图片描述
通过获取接口，可获取运行中Hive作业的SQL语句，该信息对应HDFS的 /user/ U S E R / . s t a g i n g / USER/.staging/ USER/.staging/JOBID/job.xml文件

3.如果作业执行完成将接口改为JobHistory的API接口执行，执行如下：

curl -H "Accept: application/json" -X \
GET http://master:19888/ws/v1/history/mapreduce/jobs/job_1534299721148_0845/conf > b.xml

在这里插入图片描述

通过hive.query.string属性过滤查看b.xml文件

在这里插入图片描述
通过JobHistory的API接口，可获取Hive历史作业执行SQL语句，该信息对应HDFS的/user/history/done/2018/08/28/000000/job_1534299721148_0845_conf.xml文件

2.通过Cloudera Manager

1.选择Yarn的“应用程序”->“Suggestions”->“Hive应用程序”

在这里插入图片描述
在这里插入图片描述
2.选择某个Hive作业，点击箭头可以展开查看完整的SQL，并察看查询的基本统计信息
在这里插入图片描述

lishengping_max
关注
专栏目录
Hive SQL语句操作
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2227
本实验任务主要完成基于Hive环境执行一些常用的Hive SQL语句操作，通过完成本实验任务，要求学生熟练掌握Hive SQL的常用语句，掌握Hive的基础和操作。掌握Hive的数据类型   掌握hive的数据类型的使用   掌握hive的DDL语句的操作本次环境是：Ubuntu16.04+hadoop-2.7.3.+apache-hive-1.2.2-bin数据量巨大且保存时间长； 在大量数据上进行复杂的批量运算； 数据在计算之前已经完全到位，不会发生变化； 能够方便的查询批量计算的结果； 不像在线计算当
hive 数仓 增删改查 sql 语句
qq_53120120的博客
09-09 843
1、建分区表 （多个字段入hive，其原数据字段是啥分隔符符号，入hive就要是啥分隔符） create table table_name (num_id string comment '手机号',if_activestring comment '是否活跃') partitioned by (statis_date string) row format delimited fields terminated by '\t'; 2、查看表下所有的分区 show partitions table_na..
Hive SQL运行状态监控（HiveSQLMonitor）
sumo2010的博客
03-03 3801
Hive SQL运行状态监控（HiveSQLMonitor） 引言   目前数据平台使用Hadoop构建，为了方便数据分析师的工作，使用Hive对Hadoop MapReduce任务进行封装，我们面对的不再是一个个的MR任务，而是一条条的SQL语句。数据平台内部通过类似JDBC的接口与HiveServer进行交互，仅仅能够感知到一条SQL的开始与结束，而中间的这个过程通常是漫长的（两个因素：
HiveSQL执行计划查看(EXPLAIN)
weixin_45017098的博客
04-30 2881
HiveSQL执行计划是指查询语句的执行过程，包括查询语句的优化、查询计划生成和查询执行。通过EXPLAIN命令，我们可以查看查询语句的执行计划，找到性能瓶颈和优化方案，调试查询语句，加深对查询过程的理解。在实际使用中，我们可以根据需要选择不同的参数来获取不同的执行计划信息。
PHP 连接 Hive 执行 SQL 查询
qq271757232的专栏
08-21 3770
$ cd /opt/hive/lib/php/packages/ $ mv hive_service hive_service.bak $ mv hive_service.bak/hive_service ./ $ cd /opt/hive/lib/php/packages/queryplan/queryplan $ cp queryplan_types.php ../ $ cd /opt/h
hive sql执行任务 查看application任务job目前进度多少，两种方法验证
qq_27552579的博客
05-19 2775
一般我们知道当前跑到了多少步了，不知道总共有多少步。 打开yarn 看到进度有多少了吗，50%，这就是进度。简单吧，还有个地方可以验证。 点击applicationMaster，这样就能进入到上面那个界面了，然后点击job_12342423543525245，然后进去后，点击左边的maper task,看看有多少个任务，我这里有20个 这样就能看到mapreduce有多少个,20个，当前进度是10步，所以刚好是50%，验证完毕 ...
hivesql语句练习
12-06
#(执行下面的语句 *.*:所有库下的所有表 %：任何IP地址或主机都可以连接) GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION; FLUSH PRIVILEGES; 6. Jline包版本不一致的问题...
hive sql语句查询
11-25
Hive配置单元包含一个名为 default 默认的数据库. create database [if not exists] ；---创建数据库 show databases; --显示所有数据库 drop database if exists <database name> [restrict|cascade]; --...
hive建表语句
08-19
hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句hive建表语句
explain 实战-----查看hive sql执行计划
最新发布
BD_fuhong的博客
09-07 519
可以看到group by 字段是进行了正序排序的，查看sql执行结果也能看到。可以看到filter 顾虑部分有比原sql多了关联字段不为空的判断。没有相关的过滤空值操作。
CDH 如何获取Hive正在执行或者已结束的的MapReduce作业的SQL语句
北京小辉
06-20 4148
目录 一、文档编写目的 二、通过YARN执行作业的xml配置文件获取 三、通过Cloudera Manager来获取 四、通过Cloudera Manager的API接口获取 一、文档编写目的 当我们提交Hive SQL语句到YARN后，有时如果我们想监控某个SQL的执行情况，需要查看具体SQL语句，如果这个SQL语句比较长，无论是通过YARN的8088界面还是YARN的命令都无法看全这个SQ...
hive sql查询总结
weixin_38987362的博客
06-08 3878
hive最快的执行就是不走MapReduce。简单的select的是最快的，嵌套啥的都比较忙。与关系型数据库不同。 在做之前要将所写的查询语句进行格式化输入，然后再运行。在写sql语句的时候，要注意一下几点： 1、尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段。先把所要的条数选出来，然后再在所选出来的数据上进行操作。要做表连接的时候先将每个表所要的东西选出...
hive的基础语法
floolf的博客
01-02 1041
1、在linux命令行模式下，查询变量名称 $ hive -S -e "set"| grep warhouse hive.metastore.warehouse.dir=/user/hive/warehouse hive.warehouse.subdir.inherit.perms=true 2、linux命令行下，执行hive查询语句，并将结果写入本地文件 $ hive -S
hive函数spilt中分号";"作为分隔符报错的问题解决
山中有石为玉
11-27 1199
项目要分析如下一种数据： 607756662#5,12;10985547374#5;147508043#5;11123876158#5,12; 写的hive sql如下： select nvl(split(gdmodel,'#')[0],0) gdid from (select recall_set from aps.dpa_gds_recall_set t where ...
HiveSql中一条Sql语句的旅程
Xlucas的博客
04-08 828
今天主要debug一条最简单的sql语句 “select * from test” 。只是跟踪了这条SQL在提交解析器之前做了那些重要的事情 总共有 sessionID、queryID、execID 这个跳转到了SessionState类中的updateThreadName方法 public void updateThreadName() { final String ses...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
weixin_30765505的博客
12-07 1192
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...
hive基本操作
逆天骚年的博客
04-13 7757
1. 创建表格简单案例CREATE TABLE page_view ( page_url string,   ip string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'STORED AS TEXTFILE;行之间默认以换行符隔开 不需要指定关系型数据库数据以二进制文件形式存储 而hive中的数据以文本文件形式存储复杂案例CREATE TABLE ...
hive 正则表达式详解
热门推荐
bitcarmanlee的博客
04-09 9万+
hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。1.regexp语法: A REGEXP B 操作类型: strings 描述: 功能与RLIKE相同select count(*) from olap_b_dw_hotelorder_f where create_date_wid not regexp
如何将hive sql语句转化为spark sql语句
03-30
将Hive SQL语句转化为Spark SQL语句可以使用以下步骤： 1. 将Hive SQL语句保存为.hql文件。 2. 将.hql文件中的所有Hive关键字（如SELECT，FROM，WHERE等）替换为Spark SQL关键字（如SELECT，FROM，WHERE等）。 3. 将.hql文件中的所有Hive函数（如SUM，AVG，COUNT等）替换为Spark SQL函数（如sum，avg，count等）。 4. 将.hql文件中的所有Hive表名（如table1，table2等）替换为Spark SQL表名（如default.table1，default.table2等）。 5. 将.hql文件中的所有Hive列名（如col1，col2等）替换为Spark SQL列名（如table1.col1，table2.col2等）。 6. 将.hql文件中的所有Hive分区（如partition1=value1，partition2=value2等）替换为Spark SQL分区（如partition1='value1'，partition2='value2'等）。 7. 将修改后的文件保存为.spark文件。 8. 使用Spark SQL运行.spark文件。 示例： Hive SQL语句： SELECT col1, SUM(col2) FROM table1 WHERE partition1='value1' GROUP BY col1; Spark SQL语句： SELECT table1.col1, SUM(table1.col2) FROM default.table1 WHERE partition1='value1' GROUP BY table1.col1;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值