通过yarn 查看完整的hql语句

最新推荐文章于 2023-03-06 15:47:33 发布
最新推荐文章于 2023-03-06 15:47:33 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigdataf/article/details/78023346
版权
本文介绍了一种方法来查找正在执行或已完成的Hive任务所对应的SQL语句。通过点击TrackingURL，然后进入job配置页面，在搜索框中输入'hive.query.string'，可以找到对应的SQL语句。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

流程：
点击Tracking URL—->左侧job下的configuration—->在右侧Search 搜string(hive.query.string)对应的value就是现在执行或者已经完成的hive程序对应的sql语句

Yarn 上提交的job对应的sql查询
fengfengchen95的博客
12-04 3844
一.在yarn上查看类型是mapreduce 的job对应的sql 1.进入hadoop的监控页面，选择类型是MAPREDUCE的应用。   2.点击上图的application_id进入此application的项目页面信息，如下图所示：  3，点击上图的Tracking URL:对应的History查看历史运行情况，如下图    4.点击最左边的：Configurati...
通过Hive JDBC提交的查询, 如何获取其在Yarn上的Application ID
Copperfield的技术成长专栏
07-22 7504
数据平台上需要封装Hive查询，只提供API给业务方使用，代码中通过Hive JDBC完成将查询语句向Hive提交，等待执行完成，结果解析的功能. 用户提交查询之后意识到查询语句错误(非语法错误)，不想等待错误的语句执行完成后再次提交. 由于用户没有yarn client的权限，kill task的操作也需要通过API提供，因此在提交查询语句时需要获取其在Yarn上的Application I...
yarn查看已提交任务sql
weixin_46680124的博客
03-06 615
位置：mapreduce.workflow.name。yarn查看已提交任务sql及其参数。
获取YARN中实际执行的sql文本
qq_39625998的博客
05-08 1407
笔者在此之前一直想找到contains中运行的sql命令，相信有不少小伙伴和笔者有着相同的疑惑。 偶然间发现了这个参数，可以借助此参数快速找到sql文件。 命令如下: hdfs dfs -cat /ats/XXX/application_156000000000_0000*/*/* \ |grep mapreduce.workflow.name \ |awk 'BEGIN{RS="\",\""}{$1=$1;print $0}' \ |grep mapreduce.workflow.name \
大数据学习方向，从入门到精通
weixin_41780944的博客
06-19 3409
很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，就是这样的。...
Hive 系列（一）—— Hive 简介及核心概念
weixin_30362083的博客
08-20 244
一、简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 特点： 简单、容易上手 (提供了类似 sql 的查询语言 hql)，使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析； 灵活性高，可以自定义...
Hive3.x执行HQL语句报错 exit code143/ memory limit
qq_31454379的博客
04-25 965
Hive版本：apache-hive-3.1.2-bin.tar.gz，执行引擎TEZ，Hadoop版本3.1.3 hive成功进入命令行终端 建表插入数据出现以下错误（虚拟机物理内存2G，交换分区2G） 分析原因是虚拟内存大小限制导致； 1.有条件的开发可以直接把机器的物理内存调大； 2.调整Hadoop配置参数 yarn-site.xml <property> &...
Hive运行hql报错：org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container
IT Baicn的博客
01-14 578
错误 Diagnostic Messages for this Task: Container launch failed for container_1547232045235_0036_02_000009 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. Th...
Hive SQL语句操作
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2425
本实验任务主要完成基于Hive环境执行一些常用的Hive SQL语句操作，通过完成本实验任务，要求学生熟练掌握Hive SQL的常用语句，掌握Hive的基础和操作。掌握Hive的数据类型   掌握hive的数据类型的使用   掌握hive的DDL语句的操作本次环境是：Ubuntu16.04+hadoop-2.7.3.+apache-hive-1.2.2-bin数据量巨大且保存时间长； 在大量数据上进行复杂的批量运算； 数据在计算之前已经完全到位，不会发生变化； 能够方便的查询批量计算的结果； 不像在线计算当
Hadoop Core(MapReduce + YARN + HDFS)_
08-27
**Hive**是基于Hadoop的数据仓库工具，用于将结构化数据文件映射为一张数据库表，并提供SQL-like查询语句（HQL）来访问这些数据。Hive将SQL查询转化为一系列MapReduce任务，简化了大数据的分析工作，尤其适合离线...
Hive编程与HQL指南：大数据处理入门
3. **HQL语法**：学习SELECT、FROM、WHERE、GROUP BY、JOIN、HAVING、ORDER BY等基本SQL语句在HQL中的应用，以及Hive特有的扩展功能，如LATERAL VIEW、UDF（用户自定义函数）等。 4. **数据导入与导出**：掌握如何...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
weixin_30765505的博客
12-07 1304
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...
yarn 通过api查询sql任务
iris_csdn的博客
07-05 882
针对appid：application_1620381918837_260462 替换成jobid：job_1620381918837_260462 然后再替换到JobHistory的API接口 获取到的数据是个很大的json，从里面找到hive.query.string 的值，通过URLDecoder.decode(json,"UTF-8")解析后就是mr的sql了 https://www.cnblogs.com/tonglin0325/p/12455825.html ...
yarn系列-1.yarn中查看jobs日志的两种方式
拾春华 让思绪飞扬
02-03 2万+
查看yarn日志的两种方式 1.界面版 1）点击application 2）输入即可 2.命令行版 yarn logs -applicationId application_1517538889175_2550 > logs.txt 通过vim进行查看logs.txt文件
查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL
曾经是个DBA
05-27 3343
查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL 这个默认界面只能看到这个 Job 相关 SQL 的缩略版，没法看到完整的 SQL 很是蛋疼。 但最近发现只要点到 Configuration 里搜索 query.string，就能看到完整版了。 我不会是最后一个知道的吧？ ...
yarn集群启动之脚本追踪
hyy_blog
07-01 289
在学习源码的过程中，一般都是先看原理，在各个部件熟悉的时候，使用脚本把怎个系统贯穿起来。 转载自：https://blog.csdn.net/oTengYue/article/details/105161007
Hive提交到yarn的任务一直在running问题排查
热门推荐
u013332124的专栏
04-13 3万+
一、问题描述 最近有数据平台的同学反馈yarn上面有一些任务跑了很久没有结束，状态一直处于running中。去Spark HistoryServer查看任务详情也没看到相关运行记录，需要人为手动kill任务才会停止并释放资源。 二、问题排查 从Spark HistoryServer可以看出，任务的Driver虽然启动了，但是并未执行job，并且一直阻塞在那没有退出。从yarn的角度来看，这个...
Hql用法
yaasshole
12-07 109
Hql用法 Criteria查询对查询条件进行了面向对象封装，符合编程人员的思维方式，不过HQL(Hibernate Query Language)查询提供了更加丰富的和灵活的查询特性，因此Hibernate将HQL查询方式立为官方推荐的标准查询方式，HQL查询在涵盖Criteria查询的所有功能的前提下，提供了类似标准SQL语句的查询方式，同时也提供了更加面向对象的封装。完整的HQL语句形式...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值