Hive Explain查看执行计划

最新推荐文章于 2023-12-19 11:21:24 发布
最新推荐文章于 2023-12-19 11:21:24 发布
阅读量366 收藏
点赞数
分类专栏： hive 文章标签： hive 大数据 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011109589/article/details/129991366
版权
hive 专栏收录该内容
34 篇文章 13 订阅 ¥19.90 ¥99.00
订阅专栏
本文介绍了在Hive中如何使用EXPLAIN命令查看查询的执行计划，详细解析了EXTENDED、CBO等参数，通过实例展示了MapReduce的执行过程，包括TableScan、Select、Group By等Operator的分析，并在生产实践中探讨了join过滤null值和group by的排序问题，有助于理解Hive底层原理和调优。
摘要由CSDN通过智能技术生成

前言

在MySQL中，我们常常使用explain这个命令来查看一些SQL语句的执行计划，查看该SQL语句有没有使用上了索引，有没有做全表扫描，来了解MySQL当运行SQL语句时哪种策略预计会被优化器采用的细节。那么，在Hive中，也提供了explain命令来展示一个查询的执行计划，这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等方面，能够给我们的工作带来极大的便利，如果不懂hive中的explain，说明hive还没入门，今天就和小伙伴们一起深入学习一下！

1. explain的用法和参数介绍

1.1 使用语法：

EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|
了解本专栏 订阅专栏 解锁全文
笑看风云路
关注
专栏目录
订阅专栏
【硬刚Hive】HIVE高级(15):优化(15) Explain 查看执行计划（三）
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 488
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 0 简介 Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，.
Hive SQL 执行计划
晓晓的天空
02-23 1238
Hive SQL 执行计划
hive sql执行计划
lpxuan151009的专栏
07-29 1万+
hive sql执行计划
【大数据之Hive】二十、Hive之调优相关配置及Explain查看执行计划
阿宁的博客
07-05 441
执行计划简单来说就是一个SQL语句最终翻译成多少个MapReduce，Map里做了什么，Reduce里做了什么。Explain显示的执行计划，由一系列Stage（整个执行计划的一个阶段，一条SQL语句会把整个阶段分为若干个执行计划）组成，Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。
Hive查看执行计划
鸭梨的博客
02-26 2475
可以用explain查看执行计划 比如 explain select deptno `dept`, year(hiredate) `year`, sum(sal) from tb_emp group by deptno, year(hiredate); 1 可以先看有几个stage 比如这个例子有2个 +------------------------------------+ |Explain | +----------
Hive优化：Explain执行计划应该怎么看？
weixin_46429290的博客
03-23 4627
Hive优化：Explain执行计划 内容目录Hive优化：Explain执行计划一：Explain执行计划二：Explain的语法三：Explain的用法四、图示Explain执行计划 一：Explain执行计划 想要做好hive优化，你可以启用一些hive配置，压缩文件等等，但是羊毛出在羊身上，硬件配置好了，写了一个无敌菜sql，任凭你的配置再好，也不能顶得住sql的毁灭打击啊 所以就要了解一下sql的执行计划了，所谓sql执行计划，就是描绘出了这段sql的运行情况，有多少mr，有几个阶段，每个阶段干了
HIVE中explain执行计划
Miracle.Zhao的博客
04-30 1026
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。 要想学SQL执行计划，就需要学习查看执行计划的命令：explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。 学会explain，能够给我们工
hive执行计划可视化工具
05-31
- **Hive自带的Explain命令**：虽然它不是图形化的，但可以通过输出文本信息来查看执行计划的概要。 - **Hue**：一个流行的Hadoop用户界面，包括一个内置的Hive编辑器，它可以显示执行计划的可视化表示。 - **Tez...
hive explain 执行计划详解看懂执行过程
liuya19921123的博客
10-01 3578
HIVE简介 讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？ 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进
分析hive错误(使用explain查看执行计划)
qq_36689178的博客
05-31 939
使用explain查看执行计划
Hive调优学习笔记1
qq_48077612的博客
07-14 300
第1章 Expalin查看查询计划(重点) 1.1 创建测试用表 1）建大表、小表和JOIN后表得语句 //创建大表 create table bigtable(id bigint, t bigint, uid string, keyword string, url_rank int, click_num int, click_url string) row format delimited fields terminated by '\t'; //创建小表 create table smalltab
Hive调优利器之explain详解
u011250186的博客
05-11 895
Hive调优利器之explain详解
HIVE执行计划查看
liziLove_fengmi的博客
10-11 2475
HIVE执行计划查看 关键字EXPLAIN 使用方法：EXPLAIN SELECT ```````(SQL语句) 解释：MapReduce:表示当前任务执行所用的计算机引擎是MapReduce Map Operator Tree:表示当前描述的Map阶段执行的操作信息。 Reduce Operator Tree:表示当前描述的Reduce阶段的操作信息。 MAP: TableScan:表示对关键字alias声明的结果集。这里代指表明。 Statistics:表示对当前阶段的统计信息。例如数据行数和数据量，这
长文详解HiveSQL执行计划
大数据星球-浪尖
08-31 3343
本文目录：一、前言二、SQL的执行计划2.1 explain 的用法2.2 explain 的使用场景 案例一：join 语句会过滤 null 的值吗？ 案例二：group by 分组语句会进行排序吗？ 案例三：哪条sql执行效率高呢？ 案例四：定位产生数据倾斜的代码段2.3 explain dependency的用法 案例一：识别看似等价的代码 案例二：识别SQL读取数据范围的差别2...
hive企业级调优策略之如何用Explain查看执行计划
最新发布
Appreciate(欣赏)
12-19 605
Explain呈现的执行计划，由一系列Stage组成，这一系列Stage具有依赖关系，每个Stage对应一个MapReduce Job，或者一个文件系统操作等。
Hive的Explain命令 （执行计划命令）
weixin_45631366的博客
11-07 556
Hive的Explain命令，用于显示SQL查询的执行计划。 Hive查询被转化成序列阶段（这是一个有向无环图）。这些阶段可能是mapper/reducer阶段，或者是Metastore或文件系统的操作，如移动和重命名的阶段。 例子 hive> explain [extended] --加上关键字extended,则显示抽象语法树 > select * from student > cluster by age; 1.查询的抽象语法树(
Hive SQL的编译过程
美团技术团队
02-12 2711
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduc...
hive入门学习：explain执行计划的理解
热门推荐
HAHA的专栏
02-19 3万+
hive入门学习：explain执行计划的理解                    我们都知道，hive在执行的时候会把所对应的SQL语句都会转换成mapreduce代码执行，但是具体的MR执行信息我们怎样才能看出来呢？这里就用到了explain的关键字，他可详细的表示出在执行所对应的语句所对应的MR代码。语法格式如下。extended关键字可以更加详细的列举出代码的执行过程。 EX
HIVE里查看执行计划
05-10
在 Hive 中，可以使用 `EXPLAIN` 关键字查看查询语句的执行计划。执行计划会显示查询语句的优化器如何转换查询，并且会列出查询中使用的所有表、分区和连接类型。 以下是查看执行计划的示例： ``` EXPLAIN SELECT * FROM my_table; ``` 此命令将生成查询语句的执行计划，如果查询语句包含多个步骤，则每个步骤都将显示。 还可以使用 `EXPLAIN EXTENDED` 命令输出更详细的执行计划信息，包括 SQL 转换后的逻辑查询计划和物理查询计划。例如： ``` EXPLAIN EXTENDED SELECT * FROM my_table; ``` 请注意，`EXPLAIN` 命令只显示查询的执行计划，而不会实际执行查询。如果要运行查询并查看结果，请使用 `SELECT` 命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

笑看风云路

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值