Hive----查询执行计划(explain)和分析表数据(ANALYZE)

最新推荐文章于 2024-12-09 09:55:00 发布
最新推荐文章于 2024-12-09 09:55:00 发布
阅读量1w 收藏 8
点赞数
分类专栏： Hive实战 文章标签： Hive explain ANALYZE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_qing_lei/article/details/77489453
版权
本文介绍了在Hive中如何使用EXPLAIN来查看查询的执行计划，以及如何通过ANALYZE TABLE命令收集和计算表的统计信息，以优化查询性能。
摘要由CSDN通过智能技术生成
explain
-----------------
该命令可以返回hive的查询执行计划。不需要执行查询。
查询计划包含三个部分,
1.AST
Abstract syntax tree (AST).抽象语法树。通过ANTLR类库生成。
2.Stage dependencies:
阶段依赖。
用来执行查询的依赖列表。
3.Stage plans
阶段计划。
ANALYZE
-----------------
分析表数据。用于执行计划选择的参考。
先执行分析命令，再通过DESCRIBE查看统计的结果。
//统计表

最低0.47元/天 解锁文章
数仓工具—Hive进阶之Statistics与Analyze Table命令(20)
08-16 4万+
主要介绍了统计信息(表/分区)的用途，以及统计信息如何收集，当然最主要的还是给hive 优化器使用。
【硬刚Hive】HIVE高级(15):优化(15) Explain 查看执行计划（三）
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 526
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 0 简介 Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，.
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
tony的专栏
05-06 2890
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 14.1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计
【PostgreSQL 】实战篇——如何使用 EXPLAIN 和 ANALYZE 工具分析查询计划和性能，优化查询
最新发布
m0_74824483的博客
12-09 447
使用EXPLAIN和ANALYZE工具是优化 PostgreSQL 查询性能的重要步骤。通过分析查询计划和实际执行统计信息，开发者可以识别性能瓶颈，优化查询策略，确保数据库的高效运行。在实际应用中，定期进行性能分析和优化可以显著提高系统的响应速度和稳定性。希望这份讨论能够帮助您深入理解如何使用EXPLAIN和ANALYZE工具进行查询优化。
hive 统计分析相关ANALYZE
zeng6325998的博客
04-09 1203
1.前言 本文大部分是对于官方问的那个的理解，小部分是自己的测试感受 官方文档地址 https://cwiki.apache.org/confluence/display/Hive/StatsDev ANALYZE 这个命令接触的不多，今天专门研究学习下 2、目的 见名知意，它的目的就是为了统计和分析的作用，它将统计的信息存储到metastore中，后续再来查询的时候就不需要在执行查询计算，而...
Hive_Hive统计指令analyze table和 describe table
迎难而上
09-05 2281
analyze table和 describe table 一般是组合使用的，其中analyze table指令可以用于数据表的统计，并且是通过额外的任务对数据表的大小或者分区等进行统计。而describe table 则是将统计好的数据展示出来。官网对这块儿的介绍统计数据(如表或分区的行数和特定感兴趣的列的直方图)在许多方面都很重要。统计的一个关键用例是查询优化。统计数据作为优化器的成本函数的输入，以便它可以比较不同的计划并从中进行选择。统计数据有时可以满足用户查询的目的。
Hive SQL查询效率提升之Analyze方案的实施
谦蓦的博客
06-07 2744
0.简介 Analyze，分析表（也称为计算统计信息）是一种内置的Hive操作，可以执行该操作来收集表上的元数据信息。这可以极大的改善表上的查询时间，因为它收集构成表中数据的行计数，文件计数和文件大小（字节），并在执行之前将其提供给查询计划程序。 1.如何分析表？ 基础分析语句 ANALYZE TABLE my_database_name.my_table_name COMPUTE STAT...
HIVE中explain执行计划
Miracle.Zhao的博客
04-30 1071
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。 要想学SQL执行计划，就需要学习查看执行计划的命令：explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。 学会explain，能够给我们工
Hive - 文件存储、文件压缩、视图、日志、运行方式、JDBC、优化
BlessingXRY的博客
09-19 668
一、文件存储格式 File Formats and Compression: RCFile, Avro, ORC, Parquet; Compression, LZO 1.1 textfile 1、textfile是hive默认的数据文件存储格式 2、textfile是普通的文件文本存储 3、不压缩 4、可以配合压缩配置属性进行压缩 CREATE TABLE `u4`( `id` int,...
HIVE执行计划（未完）
hysfwjr的专栏
01-22 593
目录 语法 基本信息 扩展信息 依赖信息 授权信息 参考文章 语法 EXPLAIN [EXTENDED|CBO|AST|DEPENDENCY|AUTHORIZATION|LOCKS|VECTORIZATION|ANALYZE] query AUTHORIZATION从 HIVE 0.14.0 通过HIVE-5961开始支持，VECTORIZATION从 Hive 2.3....
Hive监控表的数据量，使用analyze
qq_43528451的博客
05-10 1811
Hive监控表的数据量，使用analyze 1、使用方式 analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS noscan 工作中用到的统计一个表的数据量 # table_counts 查询出传入日期的表的数据量 table_counts=$(hive -e "analyze table ${DB_NAME}.${TABLE_NAME} partition(pt='${P_DATE}'
hive explain分析Hsql详解
sunxunyong的博客
07-01 789
HIVE提供了EXPLAIN命令来展示一个查询的执行计划，可以帮助我们查看stage的依赖情况、排查数据倾斜、hive 调优等使用语法如下：explain 后面可以跟以下可选参数，注意：这几个可选参数不是 hive 每个版本都支持的。EXTENDED：加上 extended 可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大CBO：输出由Calcite优化器生成的计划。CBO 从 hive 4.0.0 版本开始支持AST：输出查询的抽象语法树。
Hive ANALYZE NOSCAN
微步的博客
09-03 2512
参考官网：https://cwiki.apache.org/confluence/display/Hive/StatsDev 一、Hive分析统计语句如下： ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)]  -- (Note: Fully support qualified...
Hive（三）Hive元数据信息对应MySQL数据库表
weixin_42073629的博客
09-22 823
概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表（VERSION） VERSION -- 查询版本信息 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 2.3.0 ..
Hive之表类型解析
bigdodo的博客
04-07 688
Hive的表在HDFS里面体现都是文件 1、内部表 内部表示Hive中默认的表类型，表数据默认存储在warehouse目录下，即使我们使用load data的方式， Hive也会在数据拷贝在warehouse目录下，当我们创建内部表时，Hive会在warehouse下创建表名的目录存储数据文件， 同时会在metastore维护元数据信息，当我们删除表的时候，表的数据会删除，同时metastore中的元数据信息也会同时删除。 2、外部表 外部表在加载数据的时候，实际数据并不会移...
Hive analyze命令解析
遥望......
02-06 3111
关于Hive analyze命令 1. 命令用法： 表与分区的状态信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan]; 列信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], ...
对于analyze table使用
海鲨数据库架构师
05-08 7626
首先创建四个临时表t1,t2,t3,t4,和他们相对应的索引 复制内容到剪贴板 代码:create table t1 as select * from user_objects;create table t2 as select * from user_objects;create table t3 as select * from user_objects;create table t4 as
Hive的元数据表结构及统计分析Statistics
未来在这儿的专栏
01-27 1512
类似于Oracle，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；
Hive性能优化简介 （顺便介绍了性能工具--ANALYZE）
u011495642的博客
11-21 1116
ANALYZE关键字可以收集数值统计信息。 加速查询，直接从统计信息中拿，而不会再启动mapreduce去查询。 用desc命令去查统计信息。     Hive性能优化包含以下点： partition table 这是最好的优化，比如用年月日，部门 联合查询，可以先按xx做分区，再按别的做分区   bucket table  经常被join连接查询的这种column上建立b...
Hive-HLL：探索Hive用户定义函数包装器
Hive 扩展了 MapReduce 的功能，通过引入类 SQL 语言 HiveQL，简化了复杂的数据查询过程，为数据分析提供了便利。 Hive 的用户定义函数（UDF）允许用户在 HiveQL 中插入自定义的业务逻辑，从而增强了 Hive 的功能。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值