查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL

最新推荐文章于 2023-03-11 14:21:42 发布
最新推荐文章于 2023-03-11 14:21:42 发布
阅读量3.2k 收藏 6
点赞数 1
分类专栏： Apache Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011478909/article/details/90602266
版权

查看 YARN 上 Hive 运行的 MapReduce Job 的完整 SQL

这个默认界面只能看到这个 Job 相关 SQL 的缩略版，没法看到完整的 SQL 很是蛋疼。

image_name

但最近发现只要点到 Configuration 里搜索 query.string，就能看到完整版了。

image_name

我不会是最后一个知道的吧？

丑大狗
关注
专栏目录
【大数据Hive】hive 优化策略之job任务优化
congge_study的博客
11-22 8671
hive job优化策略
Hadoop Fundamentals: MapReduce, YARN, and Hive
最新发布
程序员光剑
10-13 494
Hadoop是一个开源的框架，可以用来进行海量数据集处理。它由Apache基金会开发并贡献给了开源社区。Hadoop是一个分布式计算平台，主要用于存储和处理海量的数据。Hadoop提供了一个统一的框架，使得用户可以像处理单机数据一样处理海量的数据。由于Hadoop是分布式的，因此可以在多台服务器上同时运行任务。Hadoop最主要的两个组件是HDFS（Hadoop Distributed File System）和MapReduce。
hive sql执行任务 查看application任务job目前进度多少，两种方法验证
qq_27552579的博客
05-19 2763
一般我们知道当前跑到了多少步了，不知道总共有多少步。 打开yarn 看到进度有多少了吗，50%，这就是进度。简单吧，还有个地方可以验证。 点击applicationMaster，这样就能进入到上面那个界面了，然后点击job_12342423543525245，然后进去后，点击左边的maper task,看看有多少个任务，我这里有20个 这样就能看到mapreduce有多少个,20个，当前进度是10步，所以刚好是50%，验证完毕 ...
【原创】大叔经验分享（1）在yarn上查看hive完整执行sql
weixin_30765505的博客
12-07 1184
hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题： 1）相近时间提交了几个相近的sql，相互之间无法区分； 2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？ 通过以下方法可以查看： 1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configura...
Hive生成MapReduce任务源码分析
ghz_blog的博客
08-07 1037
https://tech.meituan.com/hive-sql-to-mapreduce.htmlhttp://blog.csdn.net/lalaguozhe/article/details/9339679
统计 YARN 提交任务的Hostname 分布
weixin_33753003的博客
07-06 184
2019独角兽企业重金招聘Python工程师标准>>> ...
【大数据spark SQL项目实战】日志分析（十）：topN统计作业运行到YARN上
06-12 314
1、修改代码并打包 package com.kinglone.log import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.functions._ import org.apache.spark.sql.{DataFrame, SparkSession} import scala.collection.mutable.ListBuffer /** * TopN统计Spark作业:运行在YARN之上 */
hive sql 卡在提交JOB，mapreduce无法正常执行。
weixin_43930715的博客
11-19 3888
hive sql卡在提交job，无法执行mapreduce 在我编写hivesql去查询的时候只要涉及到mapreduce阶段的sql就会卡在提交job的地方。 而我们使用不涉及mapreduce的sql，却能够正常的查询到数据。 解题思路 我先查看我的hdfs集群各个节点的服务是否成功启动，使用jps查看。 查看发现hdfs正常启动后，我区分是mapreduce的问题还是sql的问题，进入hadoop/share/hadoop/mapreduce/ 目录下，执行自带的mapreduce计算π值，发现依旧
Hive mapreduce job报错解决
涵sir的博客
07-05 2160
问题描述：使用beeline连接hiveserver2，将HDFS上的json格式数据导入到一个临时表，然后再通过insert into ... select ...将数据导入正式表中，但在这一步Hive报错，Error信息为：ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 详细报错如下: INFO : Completed compiling command.
从MapReduce到Hive
liyifan687的博客
12-05 1383
1.计算框架 Hadoop 是一个计算框架，目前大型数据计算框架常用的大致有五种： 仅批处理框架：Apache hadoop. 仅流处理框架：Apache Storm、Apache Samza. 混合框架：Apache Spark、Apache Flink. 这其中名气最大、使用最广的当属 Hadoop 和 Spark。 虽然两者都被称为大数据框架，但实际层级不同。Hadoop 是一个分布式数...
MapReduce与Yarn 的详细工作流程分析
gqing_的博客
10-08 1192
MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要提交jar包；本地环境一般只作为测试用 提交时会将每个任务封装为一个job交给Yarn来处理（详细见后边的Y...
HiveSQL的执行流程
weixin_45937224的博客
03-11 1445
HiveSQL的执行流程
Yarn 上提交的job对应的sql查询
fengfengchen95的博客
12-04 3675
一.在yarn上查看类型是mapreduce 的job对应的sql 1.进入hadoop的监控页面，选择类型是MAPREDUCE的应用。   2.点击上图的application_id进入此application的项目页面信息，如下图所示：  3，点击上图的Tracking URL:对应的History查看历史运行情况，如下图    4.点击最左边的：Configurati...
记一次hive查询报错的问题
努力努力再努力！的博客
07-13 1304
记一次hive查询报错的问题 CDH中安装完hive后，执行select count(*) from table,居然报错了 进入yarn的webui页面，查看对应的任务的logs 重点是这句： Error running local (uberized) 'child' : java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 网上找了一圈，说是Mapreduce.
[hive] 任务提交到yarn执行时没有响应,连接失败
朱同学的博客
10-24 859
很可能是resourceManager出了问题 解决办法是关闭当前的主resourceManager,使从nodeManager转正.
Hadoop13：【案例】MapReduce任务日志查看
weixin_40612128的博客
03-01 4340
在上一篇中介绍了MapReduce进行单词计数的案例，这一章介绍下怎么查看MapReduce的任务日志。 如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 一、syout日志输出 1、mapper类修改 在自定义mapper类的map函数中增加一个输出，将k1,v1的值打印出来 添加内容如下： mapper类修改后代码如下： public stati
根据 Application ID找到 Hive 的 SQL 语句
houzhizhen的专栏
08-11 1723
根据 Yarn 的 Application 找到 Hive 的 SQL，需要根据执行引擎（tez 或者 mr）的不同有不同的方法。以下以 TEZ 引擎 为例。
获取YARN上执行时间最长的JOB列表，并查看是否存在数据倾斜
xw514124202的博客
06-29 3536
处理思路 1、通过 HistoryServerRestApi 获取YARN JOB的基本信息 （包括JOB的 ID和名称，开始时间和结束时间） http://<history server http address:port>/ws/v1/history/mapreduce/jobs?startedTimeBegin=%s&startedTimeEnd=%s 2、对 执行时间...
Hive SQL性能优化：深度解析MapReduce阶段
"深入浅出数据仓库中SQL性能优化之Hive篇" 在数据仓库领域，尤其是在使用Hive进行大规模数据分析时，SQL性能优化是至关重要的。Hive查询通常涉及多个MapReduce作业，每个作业内部包含Map、Reduce、Spill、Shuffle和...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值