Hive----查询执行计划(explain)和分析表数据(ANALYZE)

最新推荐文章于 2024-08-10 13:19:32 发布
最新推荐文章于 2024-08-10 13:19:32 发布
阅读量1w 收藏 8
点赞数
分类专栏： Hive实战 文章标签： Hive explain ANALYZE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tian_qing_lei/article/details/77489453
版权
本文介绍了在Hive中如何使用EXPLAIN来查看查询的执行计划，以及如何通过ANALYZE TABLE命令收集和计算表的统计信息，以优化查询性能。
摘要由CSDN通过智能技术生成
explain
-----------------
该命令可以返回hive的查询执行计划。不需要执行查询。
查询计划包含三个部分,
1.AST
Abstract syntax tree (AST).抽象语法树。通过ANTLR类库生成。
2.Stage dependencies:
阶段依赖。
用来执行查询的依赖列表。
3.Stage plans
阶段计划。
ANALYZE
-----------------
分析表数据。用于执行计划选择的参考。
先执行分析命令，再通过DESCRIBE查看统计的结果。
//统计表

最低0.47元/天 解锁文章
缘定三石
关注
专栏目录
数仓工具—Hive进阶之Statistics与Analyze Table命令(20)
08-16 4万+
主要介绍了统计信息(表/分区)的用途，以及统计信息如何收集，当然最主要的还是给hive 优化器使用。
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
tony的专栏
05-06 2823
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 14.1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计
万字长文详解HiveSQL执行计划
yuan_more的博客
06-23 2873
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。 要想学SQL执行计划，就需要学习查看执行计划的命令：explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。 本文首发于公众号【五分钟学大数
EXPLAIN和ANALYZE
最新发布
潘达小新
08-10 250
EXPLAIN是一个用来分析SQL语句执行计划的命令。执行计划是数据库查询优化器用来确定如何执行查询的步骤列表。通过使用EXPLAIN。
hive 统计分析相关ANALYZE
zeng6325998的博客
04-09 1153
1.前言 本文大部分是对于官方问的那个的理解，小部分是自己的测试感受 官方文档地址 https://cwiki.apache.org/confluence/display/Hive/StatsDev ANALYZE 这个命令接触的不多，今天专门研究学习下 2、目的 见名知意，它的目的就是为了统计和分析的作用，它将统计的信息存储到metastore中，后续再来查询的时候就不需要在执行查询计算，而...
Hive_Hive统计指令analyze table和 describe table
迎难而上
09-05 1834
analyze table和 describe table 一般是组合使用的，其中analyze table指令可以用于数据表的统计，并且是通过额外的任务对数据表的大小或者分区等进行统计。而describe table 则是将统计好的数据展示出来。官网对这块儿的介绍统计数据(如表或分区的行数和特定感兴趣的列的直方图)在许多方面都很重要。统计的一个关键用例是查询优化。统计数据作为优化器的成本函数的输入，以便它可以比较不同的计划并从中进行选择。统计数据有时可以满足用户查询的目的。
Hive SQL查询效率提升之Analyze方案的实施
谦蓦的博客
06-07 2622
0.简介 Analyze，分析表（也称为计算统计信息）是一种内置的Hive操作，可以执行该操作来收集表上的元数据信息。这可以极大的改善表上的查询时间，因为它收集构成表中数据的行计数，文件计数和文件大小（字节），并在执行之前将其提供给查询计划程序。 1.如何分析表？ 基础分析语句 ANALYZE TABLE my_database_name.my_table_name COMPUTE STAT...
Hive监控表的数据量，使用analyze
qq_43528451的博客
05-10 1722
Hive监控表的数据量，使用analyze 1、使用方式 analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS noscan 工作中用到的统计一个表的数据量 # table_counts 查询出传入日期的表的数据量 table_counts=$(hive -e "analyze table ${DB_NAME}.${TABLE_NAME} partition(pt='${P_DATE}'
hive explain 执行计划详解看懂执行过程
liuya19921123的博客
10-01 3585
HIVE简介 讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？ 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进
HIVE中explain执行计划
Miracle.Zhao的博客
04-30 1028
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。 要想学SQL执行计划，就需要学习查看执行计划的命令：explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。 学会explain，能够给我们工
【硬刚Hive】HIVE高级(15):优化(15) Explain 查看执行计划（三）
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 493
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 0 简介 Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，.
Hive - 文件存储、文件压缩、视图、日志、运行方式、JDBC、优化
BlessingXRY的博客
09-19 616
一、文件存储格式 File Formats and Compression: RCFile, Avro, ORC, Parquet; Compression, LZO 1.1 textfile 1、textfile是hive默认的数据文件存储格式 2、textfile是普通的文件文本存储 3、不压缩 4、可以配合压缩配置属性进行压缩 CREATE TABLE `u4`( `id` int,...
hive explain分析Hsql详解
sunxunyong的博客
07-01 710
HIVE提供了EXPLAIN命令来展示一个查询的执行计划，可以帮助我们查看stage的依赖情况、排查数据倾斜、hive 调优等使用语法如下：explain 后面可以跟以下可选参数，注意：这几个可选参数不是 hive 每个版本都支持的。EXTENDED：加上 extended 可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大CBO：输出由Calcite优化器生成的计划。CBO 从 hive 4.0.0 版本开始支持AST：输出查询的抽象语法树。
Hive ANALYZE NOSCAN
微步的博客
09-03 2462
参考官网：https://cwiki.apache.org/confluence/display/Hive/StatsDev 一、Hive分析统计语句如下： ANALYZE TABLE [db_name.]tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)]  -- (Note: Fully support qualified...
Hive之表类型解析
bigdodo的博客
04-07 645
Hive的表在HDFS里面体现都是文件 1、内部表 内部表示Hive中默认的表类型，表数据默认存储在warehouse目录下，即使我们使用load data的方式， Hive也会在数据拷贝在warehouse目录下，当我们创建内部表时，Hive会在warehouse下创建表名的目录存储数据文件， 同时会在metastore维护元数据信息，当我们删除表的时候，表的数据会删除，同时metastore中的元数据信息也会同时删除。 2、外部表 外部表在加载数据的时候，实际数据并不会移...
Hive analyze命令解析
遥望......
02-06 3027
关于Hive analyze命令 1. 命令用法： 表与分区的状态信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan]; 列信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], ...
对于analyze table使用
海鲨MYSQL精英架构师
05-08 7588
首先创建四个临时表t1,t2,t3,t4,和他们相对应的索引 复制内容到剪贴板 代码:create table t1 as select * from user_objects;create table t2 as select * from user_objects;create table t3 as select * from user_objects;create table t4 as
Hive的元数据表结构及统计分析Statistics
未来在这儿的专栏
01-27 1410
类似于Oracle，Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；
滴滴出行数据分析：Hbase-Hive-Mysql-Sqoop-可视化实战
项目涉及的数据处理流程包括数据爬取、存储、分析和可视化，使用了Hbase、Hive、Mysql、Sqoop以及数据可视化工具。报告详细介绍了每个阶段的操作，旨在展示大数据生态系统中的综合应用能力，特别是对Linux、HDFS、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值