hive sql执行任务 查看application任务job目前进度多少，两种方法验证

最新推荐文章于 2023-04-30 17:05:01 发布
最新推荐文章于 2023-04-30 17:05:01 发布
阅读量2.6k 收藏 2
点赞数
文章标签： hadoop yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27552579/article/details/117042050
版权

在这里插入图片描述
一般我们知道当前跑到了多少步了，不知道总共有多少步。
在这里插入图片描述
打开yarn 看到进度有多少了吗，50%，这就是进度。简单吧，还有个地方可以验证。
在这里插入图片描述
点击applicationMaster，这样就能进入到上面那个界面了，然后点击job_12342423543525245，然后进去后，点击左边的maper task,看看有多少个任务，我这里有20个
在这里插入图片描述
这样就能看到mapreduce有多少个,20个，当前进度是10步，所以刚好是50%，验证完毕

睡醒的土豆
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive实现并发
07-25
hive实现并发机制：hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。 如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。
实操 | Hive 数据倾斜问题定位排查及解决
hellojoy的博客
05-13 2872
实操 | Hive 数据倾斜问题定位排查及解决 多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。 今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。 当执行过程中任务卡在 99%，大概率是出现了数据倾斜，但是通常我们的 SQL 很大，需要判断出是哪段代码导致的倾斜，才能利于我们解决倾斜。通过下面这个非常简单的例子来看下如何定位产生数据
记一次Hive执行Job挂起的解决方法
ronaldo1994的博客
12-01 1944
最近在清洗数据的时候发现Hive表清洗时，通过yarn控制台发现状态是Accepted状态，Hive使用tez引擎启动时挂起，查询日志发现： Application is added to the scheduler and is not yet activated. Skipping AM assignment as cluster resource is empty. Details : AM Partition = <DEFAULT_PARTITION>; AM Resource Re
排查 Hive 任务导致磁盘写满的过程
houzhizhen的专栏
01-05 589
计算的中间结果会写到 HDFS，如果用户写的SQL 有问题。，如 A 表 dt=20230101 分区 1000万行，B 表 dt=20230101 有 1万行记录。由于 SQL 没有关联条件，结果有1000亿行。
Hive提交到yarn的任务一直在running问题排查-V2
热门推荐
u013332124的专栏
12-24 3万+
解决hive已经停止的任务一直在yarn上运行的问题
根据 Application ID找到 Hive 的 SQL 语句
houzhizhen的专栏
08-11 1450
根据 Yarn 的 Application 找到 Hive 的 SQL，需要根据执行引擎（tez 或者 mr）的不同有不同的方法。以下以 TEZ 引擎 为例。
通过Hive JDBC提交的查询, 如何获取其在Yarn上的Application ID
遥望......
02-25 4227
数据平台上需要封装Hive查询，只提供API给业务方使用，代码中通过Hive JDBC完成将查询语句向Hive提交，等待执行完成，结果解析的功能. 用户提交查询之后意识到查询语句错误(非语法错误)，不想等待错误的语句执行完成后再次提交. 由于用户没有yarn client的权限，kill task的操作也需要通过API提供，因此在提交查询语句时需要获取其在Yarn上的Application Id....
hive基本操作
逆天骚年的博客
04-13 7706
1. 创建表格简单案例CREATE TABLE page_view ( page_url string,   ip string)ROW FORMAT DELIMITEDFIELDS TERMINATED BY '\t'STORED AS TEXTFILE;行之间默认以换行符隔开 不需要指定关系型数据库数据以二进制文件形式存储 而hive中的数据以文本文件形式存储复杂案例CREATE TABLE ...
HiveSQL执行计划查看(EXPLAIN)
weixin_45017098的博客
04-30 2525
HiveSQL执行计划是指查询语句的执行过程，包括查询语句的优化、查询计划生成和查询执行。通过EXPLAIN命令，我们可以查看查询语句的执行计划，找到性能瓶颈和优化方案，调试查询语句，加深对查询过程的理解。在实际使用中，我们可以根据需要选择不同的参数来获取不同的执行计划信息。
shell中循环调用hive sql 脚本的方法
09-15
今天小编就为大家分享一篇shell中循环调用hive sql 脚本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Hive SQL语法总结
01-20
Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为...
SQL、Hive SQL等SQL血缘解析工具
01-14
// 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = ...
HiveSQL的编译过程
02-26
美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向...
Hive sql系统学习教程
06-24
Hive SQL是基于Hadoop的数仓解决方案之一，它提供了类似于SQL的数据操作...总体而言，Hive SQL是面向数据仓库的一种数据操作语言，它使用类似于SQL的语法，同时又能够利用Hadoop的分布式计算能力对海量数据进行处理。
hive 查看 job 日志_从 Hive 大规模迁移作业到 Spark 在有赞的实践
weixin_39868248的博客
11-29 134
作者：胡加华团队：大数据团队一、前言在 2019 年 1 月份的时候，我们发表过一篇博客 SparkSQL在有赞大数据的实践，里面讲述我们在 Spark 里所做的一些优化和任务迁移相关的内容。本文会接着上次的话题继续讲一下我们之后在 SparkSQL 上所做的一些改进，以及如何做到 SparkSQL 占比提升到 91% 以上，最后也分享一些在 Spark 踩过的坑和经验希望能帮助到大家。...
【Hive】Hive常见问题排查技巧
可乐
08-31 1977
一、作业慢或者有问题，先看Yarn链接 1.作业Pending问题查看 通常是资源问题 ACCEPTED: waiting for AM container to be allocated 表示AM的资源都没有分配 Pending很多，Running很少 队列资源用满情况分类 队列满了，不一定是vcore满，可能是内存满了，使用不合理都是先把内存用满了 解决办法： 1.杀作业,停止不重要作业，保障优先级 2.加队列资源 队列满的情况，有时候是因为用户内存设置太大，建议业务砍内存 Config
查看执行的hive job提交了什么语句
weixin_42582611的博客
12-06 318
查看执行的hive job提交了什么语句
HIVE执行计划查看
liziLove_fengmi的博客
10-11 2340
HIVE执行计划查看 关键字EXPLAIN 使用方法：EXPLAIN SELECT ```````(SQL语句) 解释：MapReduce:表示当前任务执行所用的计算机引擎是MapReduce Map Operator Tree:表示当前描述的Map阶段执行的操作信息。 Reduce Operator Tree:表示当前描述的Reduce阶段的操作信息。 MAP: TableScan:表示对关键字alias声明的结果集。这里代指表明。 Statistics:表示对当前阶段的统计信息。例如数据行数和数据量，这
hive SQL执行计划
最新发布
04-18
Hive SQL执行计划是指Hive在执行SQL语句时生成的查询执行计划。它描述了Hive如何执行查询，包括数据的读取、处理和输出等过程。Hive使用解析器将SQL语句解析为一棵抽象语法树（AST），然后通过优化器生成最终的执行计划。 Hive SQL执行计划通常包括以下几个关键步骤： 1. 解析：将SQL语句解析为一棵抽象语法树（AST），识别出查询的各个组成部分，如表名、列名、条件等。 2. 语义分析：对AST进行语义分析，验证表名、列名的正确性，并进行类型检查等。 3. 优化：通过优化器对查询进行优化，包括重写查询、选择合适的连接方式、选择合适的索引等。优化的目标是提高查询性能和效率。 4. 生成执行计划：根据优化后的查询，生成最终的执行计划。执行计划通常以树状结构表示，每个节点代表一个操作，如扫描表、过滤条件、连接操作等。 5. 执行计划的执行：根据生成的执行计划，按照节点的顺序执行各个操作，读取数据、进行处理，并输出结果。 在Hive中，可以通过EXPLAIN关键字来查看SQL语句的执行计划。执行EXPLAIN语句后，Hive会将执行计划以文本形式输出，可以查看每个节点的操作和顺序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值