Hive调优

最新推荐文章于 2024-10-18 17:46:28 发布

二踢脚 Vol

最新推荐文章于 2024-10-18 17:46:28 发布

阅读量233

点赞数

文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/TheShy1231/article/details/125649120

版权

本文介绍了Hive的调优方法，包括使用explain分析SQL执行逻辑，join操作优化，limit语句的调整，启用本地模式和并行执行，设置mapper和reducer数量，启用JVM重用，解决数据倾斜问题，利用索引和分区优化，以及减少job数量来提升查询效率。

摘要由CSDN通过智能技术生成

1、使用explain 和 explain extended对sql语句进行执行逻辑进行查看，为后续优化做思路支持。

explain select * from text1;
explain extended select * from text1;

2、join

hive的查询永远是小表(结果集)驱动大表(结果集)
hive中的on的条件只能是等值连接
注意hive是否配置普通join转换成map端join、以及mapjoin小表文件大小的阀值

3、 limit的优化

hive.limit.row.max.size=100000
hive.limit.optimize.limit.file=10
hive.limit.optimize.enable=false (

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

二踢脚 Vol

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Hive 在工作中的调优总结

fx67ll的博客

02-13

870

总结了一下在以往工作中，对于`Hive SQL`调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~

hive_调优笔记一EXPLAIN解析

热门推荐

03-15

1万+

接触越多，越需要了解hive背后的理论知识以及底层的一些实现细节，会让用户更加高效地使用Hive --摘于HIVE 编程指南. ----1 使用EXPLAIN 了解Hive是如何工作，第一个就是需要了解EXPLAIN功能使用例子： hive >explain select sum(id) from my; OK ABSTRACT

参与评论您还未登录，请先登录后发表或查看评论

Hive 调优

分享~

05-15

1592

摘要：hive调优

Hive调优方法

meng_xin_true的博客

07-29

2341

HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive调优，排查数据倾斜等很有帮助参数说明EXTENDED加上extended可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大CBO输出由Calcite优化器生成的计划。CBO从hive4.0.0版本开始支持AST输出查询的抽象语法树。AST在hive2.1.0版本删除了，存在bug，转储AST可能会导致OOM错误，将在4.0.0版本修复。......

hive调优

wx740851326的博客

07-05

317

这个是面试基本都会问到的一个是job优化1.本地执行 hive.exec.mode.local.auto=true2.mapjoin Mapjoin 会把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中的表数据做匹配。不会由于数据倾斜导致某个rduce上落的数据太多而失败能进行不等连接的join操作其次sql优化1.谓词下推where条件中将无关的列剔除2.分区读取只读取符合条件的分...

大数据篇--Hive调优

小强签名设计的博客

05-24

2300

文章目录一、参数调优1.严格模式：2.Fetch Task功能：3.reduce个数控制：4.map join：二、语法层面调优1.order by和sort by：2.cluster by和distribute by：3.执行计划Explain：一、参数调优 1.严格模式：在hive里面可以通过严格模式防止用户执行那些可能产生意想不到的查询,从而保护hive的集群。在严格模式下，用户在运行如下query的时候会报错：分区表的查询没有使用分区字段来限制使用了order by 但没有使用limi

HIVE 调优

m0_49889089的博客

05-04

857

HIVE 调优

Hive调优集锦

张伯毅的专栏

05-26

771

.一 .前言1.1. 概念1.2. 架构1.3. 调优概述1.1. 调优须知二 . Hive建表设计层面优化2.1. 利用分区表优化2.2. 利用分桶表优化2.3. 选择合适的文件存储格式2.4. 选择合适的压缩格式三 .HQL语法和运行参数层面优化3.1. 查看Hive执行计划3.2. 列裁剪3.3. 谓词下推3.4. 分区裁剪3.5. 合并小文件3.6. 合理设置MapTask并行度3.7. 合理设置ReduceTask并行度3.8. Join优化3.9. 启用 MapJoin3.10. Join数据

Hive调优大全

qq_36864672的博客

02-13

827

创建表时，特别是宽表，尽量使用 ORC、ParquetFile 这些列式存储格式，因为列式存储的表，每一列的数据在物理上是存储在一起的，Hive查询时会只遍历需要列数据，大大减少处理的数据量。在分布式集群环境下，因为程序Bug（包括Hadoop本身的bug），负载不均衡或者资源分布不均等原因，会造成同一个作业的多个任务之间运行速度不一致，有些任务的运行速度可能明显慢于其他任务（比如一个作业的某个任务进度只有50%，而其他所有任务已经运行完毕），则这些任务会拖慢作业的整体执行进度。但是不推荐使用这个语法。

Hive调优全方位指南.pdf

12-28

Hive调优全方位指南，总结了25条关于Hive调优的经验，对于大数据及hive工程师是不可多得的资源。

Hive调优，数据工程师成神之路.pdf

10-14

Hive调优，数据工程师成神之路。

Hadoop、Spark和Hive调优优化原理

AI天才研究院

08-03

975

1995年伊藤博文等人提出了MapReduce计算框架，将海量的数据分布式地处理在多台计算机上，并通过分割输入数据集并将其划分为多个任务来并行执行计算，最后合并结果得到整体输出。然而随着互联网和大数据的普及以及处理器性能的提升，当时的技术已经远远超过了当时能够想象的范围。这段时间MapReduce计算框架已经成为一个主流的开源计算框架，包括Hadoop、Pig、Hive、Mahout、Storm等。

验证archive_command配置是否正确

2301_76664379的博客

10-12

233

这个工具可以从一个运行的 PostgreSQL 实例中创建一个基线备份，并可以使用归档的 WAL 文件来恢复到某个特定的时间点。检查 PostgreSQL 的日志文件，通常可以在 PostgreSQL 的数据目录中的 log 子目录中找到。确保 postgresql.conf（或你的 PostgreSQL 实例使用的任何自定义配置文件）中的 archive_command 已经设置为你想要的命令。查看你的归档目录（在 archive_command 中指定的目录），确认 WAL 文件是否已经被正确归档。

DBeaver连接Hive教程

weixin_38383877的博客

10-18

152

简而言之，hiveserver2是Hive启动了一个server，客户端可以使用JDBC协议，通过IP+ Port的方式对其进行访问，达到并发访问的目的。：通过hive shell来操作hive，但是至多只能存在一个hive shell，启动第二个会被阻塞，也就是说hive shell不支持。编辑驱动设置->库->删除原有库，修改为hive安装包jdbc文件夹下hive-jdbc的jar包。：启动hiveserver2，通过jdbc协议可以访问hive，hiveserver2支持。再试，可能就会成功啦。

hive on tez 指定队列后任务一直处于running状态

最新发布

qq_44540985的博客

10-18

471

抢占是 YARN 在资源紧张时的机制，用于重新分配低优先级任务的资源给更高优先级的任务。configured capacity=5%，表示队列的初始容量百分比，即avation队列在最开始可以使用132G*5%=6.75G，75*5%=3.75cores。: 这是当前等待资源的最高优先级请求的优先级值。通常，当 YARN 没有立即分配到符合要求的资源时，容器会被延迟，直到合适的资源可用。configured max capacity=10%定义了队列使用集群资源的上限，即使其他队列资源空闲，

Hive中的metastore（元数据存储）

2201_75439183的博客

10-12

378

Hive 的 metastore 主要负责存储 Hive 中的元数据信息，包括数据库、表、列、分区等的定义以及表的存储位置、数据格式等详细信息。- 此外， metastore 还可以存储一些统计信息，如表的行数、列的最大值和最小值等，这些信息可以帮助 Hive 优化查询计划，提高查询效率。- 例如，在一个企业中，多个部门可以使用 Hive 来存储和分析数据，通过 metastore 可以实现数据的共享和协作，提高数据的利用效率。在 Hive 中， metastore（元数据存储）是一个非常重要的组件。

2024.10月11日--- SpringMVC拦截器

whisper_Java 的博客

10-11

743

SpringMVC里的拦截器是面向切面编程AOP的一个具体实现，用于对请求做预处理。在AOP（Aspect-Oriented Programming）中用于在某个方法或字段被访问之前，进行拦截然后在之前或之后加入某些操作。拦截是AOP的一种实现策略在做身份认证或者是进行日志的记录时，我们需要通过拦截器达到我们的目的。最常用的登录拦截、或是权限校验、或是防重复提交、或是根据业务像12306去校验购票时间,总之可以去做很多的事情。

Hive调优指南：MapReduce优化与文件格式选择

以下是对Hive调优的一些关键点： 1. **Map阶段的优化**：Map任务负责数据的预处理和分片。Map数由`Mapred.min.split.size`和`Mapred.max.split.size`两个参数决定。默认情况下，`Mapred.min.split.size`是1B，`...