hive企业级调优策略之CBO,谓词下推等优化

最新推荐文章于 2024-05-30 11:15:30 发布
最新推荐文章于 2024-05-30 11:15:30 发布
阅读量1.2k 收藏 23
点赞数 20
分类专栏： hive 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52606060/article/details/135088328
版权

测试所用到的数据参考：

原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511
本教程的计算环境为Hive on MR。计算资源的调整主要包括Yarn和MR。

CBO优化

优化说明

CBO是指Cost based Optimizer，即基于计算成本的优化。
在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFS IO、网络IO等方面。Hive会计算同一SQL语句的不同执行计划的计算成本，并选出成本最低的执行计划。目前CBO在hive的MR引擎下主要用于join的优化，例如多表join的join顺序。
相关参数为：
–是否启用cbo优化

set hive.cbo.enable=true;

优化案例

(1）示例SQL语句

select
    *
from order_detail od
join product_info product on od.product_id=product.id
join province_info province on od.province_id=province.id;

(2）关闭CBO优化
–关闭cbo优化

set hive.cbo.enable=false;

–为了测试效果更加直观，关闭map join自动转换

set hive.auto.convert.join=false;

–增加reduce端容器内存

set mapreduce.reduce.memory.mb=2304;

根据执行计划，可以看出，三张表的join顺序如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

(3）开启CBO优化
–开启cbo优化

set hive.cbo.enable=true;

–为了测试效果更加直观，关闭map join自动转换

set hive.auto.convert.join=false;

根据执行计划，可以看出，三张表的join顺序如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

(4）总结
根据上述案例可以看出，CBO优化对于执行计划中join顺序是有影响的，其之所以会将province_info的join顺序提前，是因为province info的数据量较小，将其提前，会有更大的概率使得中间结果的数据量变小，从而使整个计算任务的数据量减小，也就是使计算成本变小。

谓词下推

优化说明

谓词下推（predicate pushdown）是指，尽量将过滤操作前移，以减少后续计算步骤的数据量。
相关参数为：
–是否启动谓词下推（predicate pushdown）优化

set hive.optimize.ppd = true;

需要注意的是：
CBO优化也会完成一部分的谓词下推优化工作，因为在执行计划中，谓词越靠前，整个计划的计算成本就会越低。

优化案例

(1）示例SQL语句

select
    *
from order_detail
join province_info
where order_detail.province_id='2';

(2）关闭谓词下推优化
–是否启动谓词下推（predicate pushdown）优化

set hive.optimize.ppd = false;

–为了测试效果更加直观，关闭cbo优化

set hive.cbo.enable=false;

通过执行计划可以看到，过滤操作位于执行计划中的join操作之后。
在这里插入图片描述
在这里插入图片描述

(3）开启谓词下推优化
–是否启动谓词下推（predicate pushdown）优化

set hive.optimize.ppd = true;

–为了测试效果更加直观，关闭cbo优化

set hive.cbo.enable=false;

通过执行计划可以看出，过滤操作位于执行计划中的join操作之前。
在这里插入图片描述
在这里插入图片描述

矢量化查询

Hive的矢量化查询优化，依赖于CPU的矢量化计算，CPU的矢量化计算的基本原理如下图：
在这里插入图片描述

Hive的矢量化查询，可以极大的提高一些典型查询场景（例如scans, filters, aggregates, and joins）下的CPU使用效率。
相关参数如下：

set hive.vectorized.execution.enabled=true;

若执行计划中，出现“Execution mode: vectorized”字样，即表明使用了矢量化计算。
官网参考连接：
https://cwiki.apache.org/confluence/display/Hive/Vectorized+Query+Execution#VectorizedQueryExecution-Limitations

优化案例

(1）示例SQL语句

select province_id,sum(product_num) from order_detail group by province_id;

(2) 关闭矢量化查询

set hive.vectorized.execution.enabled=false;

在这里插入图片描述
在这里插入图片描述

(2) 打开矢量化查询
在这里插入图片描述
在这里插入图片描述

Fetch抓取

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：select * from emp;在这种情况下，Hive可以简单地读取emp对应的存储目录下的文件，然后输出查询结果到控制台。
相关参数如下：
–是否在特定场景转换为fetch 任务
–设置为none表示不转换

set hive.fetch.task.conversion=none;

–设置为minimal表示支持select *，分区字段过滤，Limit等

set hive.fetch.task.conversion=minimal;

–设置为more表示支持select 任意字段，过滤，和limit等

set hive.fetch.task.conversion=more;

优化案例

(1）示例SQL语句

select * from order_detail;

(2) --设置为none表示不转换

set hive.fetch.task.conversion=none;

在这里插入图片描述
在这里插入图片描述

(3)–设置为more表示支持select 任意字段,包括函数，过滤，和limit等

set hive.fetch.task.conversion=more;

在这里插入图片描述

本地模式

优化说明

大多数的Hadoop Job是需要Hadoop提供的完整的可扩展性来处理大数据集的。不过，有时Hive的输入数据量是非常小的。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。对于大多数这种情况，Hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间可以明显被缩短。
相关参数如下：
–开启自动转换为本地模式

set hive.exec.mode.local.auto=true;

–设置local MapReduce的最大输入数据量，当输入数据量小于这个值时采用local MapReduce的方式，默认为134217728，即128M

set hive.exec.mode.local.auto.inputbytes.max=50000000;

–设置local MapReduce的最大输入文件个数，当输入文件个数小于这个值时采用local MapReduce的方式，默认为4

set hive.exec.mode.local.auto.input.files.max=10;

优化案例

(1）示例SQL语句

select
    count(*)
from product_info
group by category_id;

(2）关闭本地模式

set hive.exec.mode.local.auto=false;

在这里插入图片描述

在这里插入图片描述

(3）开启本地模式

set hive.exec.mode.local.auto=true;

在这里插入图片描述
开启本地模式后如果执行SQL报错，可参考文章：http://t.csdnimg.cn/ZTnZO

并行执行

Hive会将一个SQL语句转化成一个或者多个Stage，每个Stage对应一个MR Job。默认情况下，Hive同时只会执行一个Stage。但是某SQL语句可能会包含多个Stage，但这多个Stage可能并非完全互相依赖，也就是说有些Stage是可以并行执行的。此处提到的并行执行就是指这些Stage的并行执行。相关参数如下：
–启用并行执行优化

set hive.exec.parallel=true;

–同一个sql允许最大并行度，默认为8

set hive.exec.parallel.thread.number=8;

优化案例

(1）示例SQL语句

select
    count(*)
from product_info
group by category_id;

(2）关闭并行执行优化

set hive.exec.parallel=false;

在这里插入图片描述

在这里插入图片描述

(3）启用并行执行优化

set hive.exec.parallel=true;

在这里插入图片描述
在这里插入图片描述

严格模式

Hive可以通过设置某些参数防止危险操作：
(1）分区表不使用分区过滤
将hive.strict.checks.no.partition.filter设置为true时，对于分区表，除非where语句中含有分区字段过滤条件来限制范围，否则不允许执行。换句话说，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表。

hive.strict.checks.no.partition.filter=true

在这里插入图片描述
报错翻译：
在这里插入图片描述

(2）使用order by没有limit过滤
将hive.strict.checks.orderby.no.limit设置为true时，对于使用了order by语句的查询，要求必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个Reduce中进行处理，强制要求用户增加这个limit语句可以防止Reduce额外执行很长一段时间（开启了limit可以在数据进入到Reduce之前就减少一部分数据）。

hive.strict.checks.orderby.no.limit=true

在这里插入图片描述
报错翻译：
在这里插入图片描述

(3）笛卡尔积
将hive.strict.checks.cartesian.product设置为true时，会限制笛卡尔积的查询。对关系型数据库非常了解的用户可能期望在执行JOIN查询的时候不使用ON语句而是使用where语句，这样关系数据库的执行优化器就可以高效地将WHERE语句转化成那个ON语句。不幸的是，Hive并不会执行这种优化，因此，如果表足够大，那么这个查询就会出现不可控的情况。

hive.strict.checks.cartesian.product=true

在这里插入图片描述
报错翻译：
在这里插入图片描述

Appreciate(欣赏)
关注
  • 20
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
快速学习-Hive企业级调优
01-07
第 9 章 企业级调优 9.1 Fetch 抓取 Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走mapreduce。 hive.fetc
hive，性能调优，全方面提升认知
08-09
hive，性能调优，全方面提升认知
基于HDFS、Spark和Hive大数据企业级框架
04-03
为了降低项目开发复杂度，减少开发成本，开发的大数据企业级框架，支持用配置yml定义数据流，支持HDFS、SparkSQL和HiveQL。
Hive优化--Bucket Map Join
yyGeek的博客
03-09 737
Map Join算法的改进可用于大表join大表的场景。
3万字史诗级 Hive 性能调优(建议收藏)
weixin_45727359的博客
05-27 729
前言 Hive 作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率 。影响 Hive 效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce 分配不合理等等。 对Hive 的调优既包含 Hive 的建表设计方面，对 HiveHQL 语句本身的优化，也包含 Hive 配置参数 和 底层引擎 MapRedu...
【大数据之Hive】二十六、HQL之CBO优化、谓词下推、矢量化查询
阿宁的博客
07-20 792
CBO是指Cost based Optimizer，即基于计算成本的优化。在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFS IO、网络IO等方面。Hive会计算同一SQL语句的不同执行计划的计算成本，并选出成本最低的执行计划。目前CBO在hive的MR引擎下主要用于join的优化，例如多表join的join顺序。1、示例SQL语句2、关闭CBO优化根据执行计划，三张表的join顺序如下：3、开启CBO优化根据执行计划，三张表的join顺序如下：4、总结。
Hive学习——企业级调优
Helen_1997_1997的博客
03-06 725
Hive优化有很多种方式，需要根据实际业务情况进行相应的优化
尚硅谷Hive企业级调优的资料
04-13
尚硅谷Hive企业级调优的资料
Hive调优，数据工程师成神之路.pdf
10-14
Hive调优，数据工程师成神之路。
【Hive_06】企业调优2（数据倾斜优化、HQL优化等）
12-29 1069
Map端负责读取join操作所需表的数据，并按照关联字段进行分区，通过Shuffle，将其发送到Reduce端，相同key的数据在Reduce端完成最终的Join操作。根据上述案例可以看出，CBO优化对于执行计划中join顺序是有影响的，其之所以会将province_info的join顺序提前，是因为province info的数据量较小，将其提前，会有更大的概率使得中间结果的数据量变小，从而使整个计算任务的数据量减小，也就是使计算成本变小。不过，有时Hive的输入数据量是非常小的。相对来说，更需要关注。
Hive内容分享(十四)：Hive调优技巧
之乎者也·的博客
01-04 358
1.保留表的谓词写在join中不能下推，需要用where；2.空表的谓词写在join之后不能下推，需要用on；3.在 join关联情况下，过滤条件无论在join中还是where中谓词下推都生效；4.在full join关联情况下，过滤条件无论在join中还是where中谓词下推都不生效。
Hive优化--小技巧
yyGeek的博客
03-06 161
hive优化
Hive 通过关闭CBO (Cost based Optimizer) 来优化特定的SQL执行
热门推荐
Harper
01-06 1万+
Hive 自0.14.0开始，加入了一项”Cost based Optimizer”来对HQL执行计划进行优化，这个功能通过”hive.cbo.enable”来开启。在Hive 1.1.0之后，这个feature是默认开启的,它可以自动优化HQL中多个JOIN的顺序，并选择合适的JOIN算法 Join reordering and join algorithm selection are
Hive 在工作中的调优总结
fx67ll的博客
02-13 811
总结了一下在以往工作中，对于`Hive SQL`调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~
HiveQL性能调优-概览
lu070828的博客
05-30 613
1、HiveQL 在执行时会转化为各种计算引擎的能够运行的算子，这里以mr引擎为切入点，要想让HiveQL 的效率更高，就要理解HiveQL 是如何转化为MapReduce任务的2、hive是基于hadoop的，分布式引擎采用mr、spark、tze，调度使用的yarn，分布式存储使用的hdfs，而一般大数据的性能瓶颈往往在带宽消耗和磁盘IO，cpu往往不是瓶颈。因此hive优化的焦点是如何降低作业的IO和带宽消耗。
Spring MVC 源码分析之 DispatcherServlet#getHandler 方法
最新发布
weixin_42118323的博客
05-30 970
本文简单分析了 Spring MVC 工作流程中获取 Handler 的实现，整个过程先通过 Request 请求的一些属性，从整个 HandlerMapping 中获取到具体的 Handler，然后和当前请求应该使用的拦截器一起，通过责任链模式构造出一个拦截器链，看似是从 HandlerMapping 中获取处理当前请求的 Handler，实则最后返回的是一个拦截器链，希望本篇的细节剖析可以帮助大家建立更深的映像。欢迎提出建议及对错误的地方指出纠正。
Hive的小文件处理
早拾碗吧的博客
05-21 743
Hive的小文件处理。
Hive的Sort by Order by Distribute by Cluster by
m0_73450879的博客
05-27 307
区分每个功能使用细节
hive中的谓词下推
07-28
Hive中的谓词下推是一种优化技术，它可以减少数据的读取量，并提高查询性能。在Hive中，谓词下推是指将过滤条件（谓词）应用到数据源上，以减少不必要的数据读取。 当执行查询时，Hive会将查询语句转换为MapReduce作业，并扫描数据源以满足查询条件。在没有谓词下推的情况下，Hive会将整个数据源读取到内存中，然后应用过滤条件进行筛选。这种方式会导致大量的数据读取和处理，降低查询性能。 而使用谓词下推，Hive可以在读取数据之前将过滤条件下推到数据源层面。这样，Hive只会读取满足条件的数据，减少了不必要的数据读取和处理。谓词下推可以应用于多种操作，如筛选、投影和连接等，以提高查询性能。 总而言之，Hive中的谓词下推是一种优化技术，通过将过滤条件下推到数据源层面，减少不必要的数据读取和处理，从而提高查询性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值