Hive的执行计划查看

最新推荐文章于 2024-08-20 15:35:08 发布
最新推荐文章于 2024-08-20 15:35:08 发布
阅读量792 收藏 1
点赞数
分类专栏： # Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45417821/article/details/119028122
版权
本文介绍了Hive中使用Explain命令来查看SQL查询的执行计划，包括基本语法和不同选项如EXTENDED、DEPENDENCY和AUTHORIZATION的用途。通过EXPLAIN EXTENDED可以获取最详细的执行信息，理解查询的Stage、Fetch操作、Limit、TableScan等关键步骤，帮助优化Hive查询性能。
摘要由CSDN通过智能技术生成

文章目录

所有视频资料都来自于：http://www.atguigu.com/bigdata_video.shtml#bigdata

里面的hive高级，源码，笔记，视频，都可以从那里领取。

Explain 查看执行计划（重点）

基本语法

EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION] query-sql

explain extended：查看最详细的内容
explain dependency ：查看依赖关系
explain authorization ：查看权限

在这里插入图片描述
Stage 代表只有一个阶段任务

Fetch是一个抓取操作

limit ：-1 代表 并没有写limit语句

TableScan ：查看全表

alias： 查询的表是bigtable

select operator 查询的是所有的字段 ，以及列别名

以上就是最基本的执行计划查看，

大多数直接 explain sql 语句查看

其他的语句均可用此方法查询，

hive执行计划分析（join详解）
程老师的博客
07-29 1114
我们都知道执行的hive sql是需要编译成MapReduce任务去执行的，那是如何编译的呢，可以分为六个阶段： Antlr定义SQL的语法规则，完成SQL词法、语法解析，将SQL转化为抽象语法树AST Tree 遍历AST Tree，抽象出查询的基本组成单元QueryBlock 遍历QueryBlock，翻译为执行操作树OperatorTree 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量 遍历OperatorTree，翻译为M
Hive SQL 执行计划
晓晓的天空
02-23 1310
Hive SQL 执行计划
Hive执行过程--Explain
yyGeek的博客
03-07 108
hive执行计划
HIVE高级调优（四）
prefect_start的博客
07-31 1400
HIVE高级调优
教你怎么查看 hive 的执行计划
香蕉牛奶棒棒槌的博客
03-06 8014
编译器中的实现细节 我们在总结Hive架构的时候，我们知道Hive中有一个Compiler组件，这个组件主要是解析字符串的SQL，然后生成执行计划，我们介绍文章主要是详细讲解Compiler中的细节以及生成的执行计划 我们从下面的HiveSQL语句开始： use douban; -- 创建一张临时表 CREATE TABLE `douban.movie_temp`( ...
HiveSQL执行计划查看(EXPLAIN)
weixin_45017098的博客
04-30 3089
HiveSQL执行计划是指查询语句的执行过程，包括查询语句的优化、查询计划生成和查询执行。通过EXPLAIN命令，我们可以查看查询语句的执行计划，找到性能瓶颈和优化方案，调试查询语句，加深对查询过程的理解。在实际使用中，我们可以根据需要选择不同的参数来获取不同的执行计划信息。
Hive查看执行计划
鸭梨的博客
02-26 2547
可以用explain查看执行计划 比如 explain select deptno `dept`, year(hiredate) `year`, sum(sal) from tb_emp group by deptno, year(hiredate); 1 可以先看有几个stage 比如这个例子有2个 +------------------------------------+ |Explain | +----------
Hive优化：Explain执行计划应该怎么看？
weixin_46429290的博客
03-23 4715
Hive优化：Explain执行计划 内容目录Hive优化：Explain执行计划一：Explain执行计划二：Explain的语法三：Explain的用法四、图示Explain执行计划 一：Explain执行计划 想要做好hive优化，你可以启用一些hive配置，压缩文件等等，但是羊毛出在羊身上，硬件配置好了，写了一个无敌菜sql，任凭你的配置再好，也不能顶得住sql的毁灭打击啊 所以就要了解一下sql的执行计划了，所谓sql执行计划，就是描绘出了这段sql的运行情况，有多少mr，有几个阶段，每个阶段干了
hive执行计划可视化工具
05-31
然而，对于复杂的Hive查询，理解其执行计划有时会变得相当困难，这就是Hive执行计划可视化工具的作用。这些工具通过图形化的方式展示查询的执行流程，帮助用户更好地理解性能瓶颈和优化查询。 标题中的“Hive执行...
Hive执行计划
mjjyszazc的博客
08-05 1835
1、hive显示执行计划语法 EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] hql 末尾hql是你要执行的hive语句 中间[]中为可选参数 2、执行计划示例 贴一个很简单的hql语句执行计划示例，用了extended子句，感觉是比较详细的一个输出了,如果不加extended，输出会显示mr过程以及stage的依赖关系，对于排查基本的语法错误来说其实已经足够了（首先申明我很菜，其实没太看明白，
聊一聊hive sql 执行计划
data_man_online的博客
07-31 1239
●keyexpressions/valueexpressionsMapReduce计算引擎，在Map阶段和Reduce阶段输出的都是键-值对的形式，这里keyexpression和valueexpressions分别描述的就是Map阶段输出的键（key）和值（value）所用的数据列。为什么会出现这种情况？向量化模式是Hive的一个特性，在没有引入向量化的执行模式之前，一般的查询操作一次只处理一行，在向量化查询执行时通过一次处理1024行的块来简化系统底层操作，提高了数据的处理性能。......
hive之执行计划explain详细解读
wangkuangood3200的专栏
05-27 1417
问：hive explain在生产实践中能帮助我们做什么？ 1、join语句会过滤null值吗？——可以！ 执行如下语句： explain select a.loan_typ from ods.ods_s01_orc_lc_appl_i a join ods.ods_s01_orc_p_loan_typ_s b on a.loan_typ =b.typ_cde; 查看运行结果（只截取相关部分）： STAGE PLANS: Stage: Stage-4 Map Reduce Local W.
详解HiveSQL执行计划
Sunny的专栏
06-29 1364
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。。explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。学会explain，能够给我们工作中使用hive带来极大的便利！
Hive（14）：Hive调优之Explain查看执行计划
yang_shibiao的博客
08-26 537
其他Hive相关系列文章链接由此进 ->添加关键词 extended。1）没有生成MR任务的。2）有生成MR任务的。
Hive 执行计划
maenlai0086的博客
07-10 427
执行语句 hive> explain select s.id, s.name from student s left outer join student_tmp st on s.name = st.name; 结果，红色字体为我添加的注释 hive> explain select s.id, s.name from student s left outer join stu...
Hive实验5：查看Hql执行计划及关键步骤说明
heroicpoem的专栏
09-04 5723
1、查看执行计划方法 语法：explain [extended] Hiveql; /*例子：*/ explain select count(distinct mobilename) from testtab_small; 2、执行计划基本要素 主要步骤及依赖关系，从上到下 各主要步骤关键信息，包括： 关键信息 关键字 说明 Map或reduce操作 Map Operator...
Hive执行计划之一文读懂Hive执行计划
鲁边的博客
06-06 1639
Hive的执行计划描述了一个hiveSQL语句的具体执行步骤，通过执行计划解读可以了解hiveSQL语句被解析器转换为相应程序语言的执行逻辑。通过执行逻辑可以知晓HiveSQL运行流程，进而对流程进行优化，实现更优的数据查询处理。同样，通过执行计划，还可以了解到哪些不一样的SQL逻辑其实是等价的，哪些看似一样的逻辑其实是执行代价完全不一样。如果说Hive优化是一堵技术路上的高墙，那么关于Hive执行计划，就是爬上这堵高墙的一架梯子。不同版本的Hive会采用不同的方式生成的执行计划。
Linux查看Hive进程
最新发布
cnzzs的博客
08-20 409
Linux查看Hive进程在Linux系统中，Hive是一个基于Hadoop的数据仓库解决方案，用于查询和分析大规模数据集。在运行Hive时，有时我们需要查看Hive相关的进程信息，以便监控和管理。本篇文章将介绍如何在Linux系统中查看Hive进程的方法。1. 使用ps命令查看Hive进程登录后复制 bashCopy ...
【Hive调优】Explain查看执行计划
weixin_43589563的博客
03-22 1296
Explain1. explain 的用法Operator2. explain 的使用场景案例一：join 语句会过滤 null 的值吗？案例二：group by 分组语句会进行排序吗？案例三：哪条sql执行效率高呢？案例四：定位产生数据倾斜的代码段1. 通过时间判断2. 通过任务 Counter 判断3. 定位 SQL 代码1.确定任务卡住的 stage2. 确定 SQL 执行代码3. explain dependency的用法案例一：识别看似等价的代码案例二：识别SQL读取数据范围的差别4. expla
查看hive执行计划
10-26
查看Hive执行计划可以帮助我们了解查询的执行过程，包括查询的各个阶段、每个阶段的输入输出、执行时间等信息。在Hive中，我们可以使用explain命令来查看执行计划。执行explain命令后，Hive会返回查询的执行计划，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值