【硬刚Hive】Hive高级(6)：优化(6)explain执行计划详解（一）

已于 2022-07-15 21:15:12 修改
阅读量461 收藏 2
点赞数 1
分类专栏： Hive系统性学习专栏 文章标签： hive big data 小程序
于 2021-09-11 00:23:58 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/120231868
版权
本文深入探讨了Hive的EXPLAIN命令，包括其参数EXTENDED、CBO、AST等，并通过实例解释了执行计划的各个部分，如Stage Dependencies和Stage Plan。通过分析Stage Plan中的Map和Reduce Operator Tree，展示了如何理解表扫描、分组聚合、过滤、Join和输出操作。此外，文章还通过实践示例解答了JOIN过滤NULL、GROUP BY是否排序以及SQL执行效率比较的问题。
摘要由CSDN通过智能技术生成

一 理论

本节将介绍 explain 的用法及参数介绍

HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助

使用语法如下：

EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] query

explain 后面可以跟以下可选参数，注意：这几个可选参数不是 hive 每个版本都支持的

  1. EXTENDED：加上 extended 可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大

  2. CBO：输出由Calcite优化器生成的计划。CBO 从 hive 4.0.0 版本开始支持

  3. AST：输出查询的抽象语法树。AST 在hive 2.1.0 版本删除了，存在bug，转储AST可能会导致OOM错误，将在4.0.0版本修复

  4. DEPENDENCY：dependency在EXPLAIN语句中使用会产生有

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
第6章：Hive性能优化及Hive3新特性1
08-08
使用`Explain`命令查看查询执行计划，有助于理解Hive如何转换HQL为MapReduce任务，从而进行性能调优。此外，调整MapReduce的相关参数（如mapred.map.tasks、mapred.reduce.tasks等）也能改善性能。 6. **Join方案...
【大数据之Hive】二十六、HQL之CBO优化、谓词下推、矢量化查询
阿宁的博客
07-20 1169
CBO是指Cost based Optimizer，即基于计算成本的优化。在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFS IO、网络IO等方面。Hive会计算同一SQL语句的不同执行计划的计算成本，并选出成本最低的执行计划。目前CBO在hive的MR引擎下主要用于join的优化，例如多表join的join顺序。1、示例SQL语句2、关闭CBO优化根据执行计划，三张表的join顺序如下：3、开启CBO优化根据执行计划，三张表的join顺序如下：4、总结。
hive企业级调优策略之CBO,谓词下推等优化
Appreciate(欣赏)
12-20 1628
不幸的是，Hive并不会执行这种优化，因此，如果表足够大，那么这个查询就会出现不可控的情况。对于小数据集，执行时间可以明显被缩短。根据上述案例可以看出，CBO优化对于执行计划中join顺序是有影响的，其之所以会将province_info的join顺序提前，是因为province info的数据量较小，将其提前，会有更大的概率使得中间结果的数据量变小，从而使整个计算任务的数据量减小，也就是使计算成本变小。CBO优化也会完成一部分的谓词下推优化工作，因为在执行计划中，谓词越靠前，整个计划的计算成本就会越低。
Hive 在工作中的调优总结
fx67ll的博客
02-13 885
总结了一下在以往工作中，对于`Hive SQL`调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~
Hive3 - 性能优化
小毕超博客
11-13 813
此时我们可以先通过子查询查出所有A表的所有的去重的。计算处理，造成资源的浪费，尽管上面的方式可以进行文件的合并，但是有可能因为场景的不同还是产品小文件，因此在读取时就需要进行小文件的合并，在。文件的性能，当用户写入数据时，可以指定构建索引，当用户查询数据时，可以根据索引提前对数据进行过滤，避免不必要的数据扫描。分布式计算中最常见的，最容易遇到的问题就是数据倾斜，数据倾斜的现象是，当我们提交运行一个程序时，这个程序的大多数的。有效利用，向表中加载数据时，必须对需要使用索引的字段进行排序，否则，
Hive优化以及相关参数设置
最新发布
ziaoming_biu的博客
05-01 2760
如取模结果为0的数据记录存放到一个文件，取模为1的数据存放到一个文件，取模为2的数据存放到一个文件。如果某个不平衡的job中有几个 reduce task 执行的时间要比其他的 reduce task 消耗的时间要多得多的话，那么保留的插槽就会一直空闲却无法被其他的 job 使用，直到所有的 task 都结束了才会释放。默认情况下，在进行分组聚合的时候，相同的键的数据会进入到同一个reduce中进行处理，如果分组的时候某一个值有大量的重复的数据，则会导致某一个reduce任务量会很大，从而导致数据倾斜。
hive的优化1
畅游数据海洋
05-26 198
[b]一、join优化[/b] Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目少的表放在左边，可以有效减少发生内存溢出错误的几率。 Join查找操作中如果存在多个join，且所有参与join的表中其参与join的key都相同，则会将所有的...
hive执行计划可视化工具
05-31
- **Hive自带的Explain命令**：虽然它不是图形化的，但可以通过输出文本信息来查看执行计划的概要。 - **Hue**：一个流行的Hadoop用户界面，包括一个内置的Hive编辑器，它可以显示执行计划的可视化表示。 - **Tez...
hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc
09-23
高级优化包括表和列的压缩、数据倾斜处理、Join优化、SubQuery优化、以及使用Explain命令分析查询计划等。压缩可以减小存储空间，数据倾斜优化是解决数据分布不均问题，Join优化涉及MapJOIN、BroadcastJOIN等，...
大数据技术原理及应用课实验6 :熟悉Hive的基本操作
01-16
在大数据处理领域，Hive是一种基于Hadoop的数据仓库工具，它允许用户使用SQL类的语言（称为HiveQL）对大规模数据进行分析和处理。在这个实验中，我们将深入理解Hive的角色以及如何执行基本操作。 首先，Hive在...
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
Hive调优及参数优化（详细版）
奇迹虎虎的博客
02-18 1万+
Hive调优及参数优化，涵盖：基础配置优化、压缩配置优化、分桶优化、Map Join、Bucket-Map Join、SMB Join、Hive并行操作、Hive索引、数据清洗转换优化、统计分析优化、Hive优化器等等......
Hive优化总结（史上最全）
litianxingzsq的博客
12-14 9544
Hive优化总结 hive建表设计层面 1.使用分区表优化 分区表 是在某一个或者几个维度上对数据进行分类存储，一个分区对应一个目录。如果筛选条件里有分 区字段，那么 Hive 只需要遍历对应分区目录下的文件即可，不需要遍历全局数据，使得处理的数据量 大大减少，从而提高查询效率。 也就是说：当一个 Hive 表的查询大多数情况下，会根据某一个字段进行筛选时，那么非常适合创建为 分区表，该字段即为分区字段。 使用分桶表优化 跟分区的概念很相似，都是把数据分成多个不同的类别，区别就是规则不一样！ 1、分区：按照
Hive 通过关闭CBO (Cost based Optimizer) 来优化特定的SQL执行
Harper
01-06 1万+
Hive 自0.14.0开始，加入了一项”Cost based Optimizer”来对HQL执行计划进行优化，这个功能通过”hive.cbo.enable”来开启。在Hive 1.1.0之后，这个feature是默认开启的,它可以自动优化HQL中多个JOIN的顺序，并选择合适的JOIN算法 Join reordering and join algorithm selection are
Hive性能优化总结
weixin_46267444的博客
07-11 3211
Hive优化1.架构优化执行引擎优化器分区表分桶表文件格式数据压缩2.参数优化本地模式严格模式JVM重用并行执行推测执行合并小文件​Fetch模式3.SQL优化​列裁剪和分布裁剪​sort by 代替 order by​group by 代替 count(distinct)​group by配置调整​join基础优化​处理空值或无意义值​单独处理倾斜key​调整map数​调整reduce数4.优化小结 1.架构优化 影响Hive效率的因素：数据倾斜，数据冗余，Job或I/O过多，MapReduce分配不合
Hive使用Calcite CBO优化流程及SQL优化实战
zzzzMing -大数据/数据分析/数据挖掘
09-22 1354
文章目录Hive SQL执行流程Hive debug简单介绍Hive SQL执行流程Hive 使用Calcite优化Hive Calcite优化流程Hive Calcite使用细则Hive向Calcite提供元数据 上一篇主要对Calcite的背景，技术特点，SQL的RBO和CBO等做了一个初步的介绍。深入浅出Calcite与SQL CBO（Cost-Based Optimizer）优化 这一篇会从Hive入手，介绍Hive如何使用Calcite来优化自己的SQL，主要从源码的角度进行介绍。文末附有一篇其他
mysql中age的字段_MySQL中explain执行计划中额外信息字段(Extra)详解
weixin_33258222的博客
01-31 390
SQL执行计划是经过优化器决策，产生的SQL在数据库内部执行的访问路径计划；由如下语法得到：explain select col1,col2 from t1..;desc select col1,col2 from t1..;12理解输出各个列的含义id:每个select子句的标识idselect_type:select语句的类型table:当前表名显示查询将访问的分区，如果你的查询是基...
MySQL高级——Explain信息中Extra字段解释
热门推荐
小志的博客
02-22 1万+
一、Explain信息中Extra字段解释 包含不适合在其他列中显示但十分重要的额外信息。 主要包括: Using filesort 、Using temporary 、Using index、Using where、Using join buffer、impossible where、select tables optimized away 二、Using filesort 说明mysql会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取。 MySQL中无法利用索引完成的排序操作称为“
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值