数仓工具—Hive进阶之Statistics与Analyze Table命令(20)

最新推荐文章于 2023-09-05 16:28:23 发布
最新推荐文章于 2023-09-05 16:28:23 发布
阅读量4.1w 收藏 3
点赞数
分类专栏： Hive 实战 文章标签： hive 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/king14bhhb/article/details/126370565
版权
本文详细介绍了Hive的统计信息及其在优化执行计划中的作用，包括行数、文件大小等。重点讲解了ANALYZE TABLE命令的语法和使用场景，以及如何手动收集和查看表的统计信息。此外，还讨论了Hive何时自动计算统计信息的情况。
摘要由CSDN通过智能技术生成

Hive Statistics与Analyze Table命令

hive 使用基于成本的优化器，所以表的统计信息作为成本函数的输入信息，从而优化器可以判断不同执行计划之间的成本，进而选择最佳的执行计划。

hive 使用统计信息例如表或者分区的行数生成一个最佳的执行计划，除了优化器，表的统计信息在hive 的其他很多地方也用到了，那hive是如何检查更新统计信息呢，就是我们今天介绍的ANALYZE TABLE 命令

统计信息(表/分区)的用途

使用到统计信息的地方有很多：

  1. Hive 基于成本的优化器使用统计信息生成最佳的执行计划
  2. 用户可以更快的获取某些统计的查询结果，这些查询结果存储在统计信息中的，而不是运行执行计划得到的
  3. 用户可以更好的获取数据的分布情况，例如卖的最好的10款产品，年龄的分布等。

收集什么样的统计信息

对于表和分区，目前支持收集下面的统计信息

  1. 行数
  2. 文件
  3. 大小(Bytes)
  4. 分区数(分区表)
  5. 列的统计信息
  6. 最后一次操作时间

Hive ANALYZE T

了解本专栏 订阅专栏 解锁全文 超级会员免费看
不二人生
关注
专栏目录
订阅专栏
Hive的analyze
someInNeed的博客
12-31 2448
1、使用 分区表，无论字段 analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS noscan ps：一致报错的可能性在UDF函数建在了某个库下 ，只有在hue上选择某个库的时候才能用UDF 2、目的 见名知意，它的目的就是为了统计和分析的作用，它将统计的信息存储到metastore中，后续再来查询的时候就不需要在执行查询计算，而是直接获取即可 3、范围 统计信息支持新建的和.
Hive----查询执行计划(explain)和分析表数据(ANALYZE)
tianqinglei的博客
08-23 1万+
explain ----------------- 该命令可以返回hive的查询执行计划。不需要执行查询。 查询计划包含三个部分, 1.AST Abstract syntax tree (AST).抽象语法树。通过ANTLR类库生成。 2.Stage dependencies: 阶段依赖。 用来执行查询的依赖列表。 3.Stage plans 阶段计划。 ANALYZE -
Hive_Hive统计指令analyze table和 describe table
最新发布
迎难而上
09-05 1874
analyze table和 describe table 一般是组合使用的，其中analyze table指令可以用于数据表的统计，并且是通过额外的任务对数据表的大小或者分区等进行统计。而describe table 则是将统计好的数据展示出来。官网对这块儿的介绍统计数据(如表或分区的行数和特定感兴趣的列的直方图)在许多方面都很重要。统计的一个关键用例是查询优化。统计数据作为优化器的成本函数的输入，以便它可以比较不同的计划并从中进行选择。统计数据有时可以满足用户查询的目的。
hive 统计分析相关ANALYZE
zeng6325998的博客
04-09 1156
1.前言 本文大部分是对于官方问的那个的理解，小部分是自己的测试感受 官方文档地址 https://cwiki.apache.org/confluence/display/Hive/StatsDev ANALYZE 这个命令接触的不多，今天专门研究学习下 2、目的 见名知意，它的目的就是为了统计和分析的作用，它将统计的信息存储到metastore中，后续再来查询的时候就不需要在执行查询计算，而...
Hive analyze命令解析
04-29 2万+
关于Hive analyze命令 1. 命令用法：  表与分区的状态信息统计 ANALYZE TABLE tablename [PARTITION(partcol1[=val1], partcol2[=val2], ...)] COMPUTE STATISTICS [noscan];  列信息统计 ANALYZE TABLE tablename [PARTITION(par
Hive监控表的数据量，使用analyze
qq_43528451的博客
05-10 1738
Hive监控表的数据量，使用analyze 1、使用方式 analyze TABLE td.pt_pmart_ceo_FIN_TRSF_CTR_SITE_MAP partition (dt) COMPUTE STATISTICS noscan 工作中用到的统计一个表的数据量 # table_counts 查询出传入日期的表的数据量 table_counts=$(hive -e "analyze table ${DB_NAME}.${TABLE_NAME} partition(pt='${P_DATE}'
对于analyze table使用
海鲨MYSQL精英架构师
05-08 7593
首先创建四个临时表t1,t2,t3,t4,和他们相对应的索引 复制内容到剪贴板 代码:create table t1 as select * from user_objects;create table t2 as select * from user_objects;create table t3 as select * from user_objects;create table t4 as
Hive SQL查询效率提升之Analyze方案的实施
daxiwu6685的博客
06-07 512
0.简介 Analyze，分析表（也称为计算统计信息）是一种内置的Hive操作，可以执行该操作来收集表上的元数据信息。这可以极大的改善表上的查询时间，因为它收集构成表中数据的行计数，文件计数和文件大小（字节），并在执行之前将其提供给查询计划程序。 1.如何分析表？ 基础分析语句 ANALYZE TABLE my_database_name.my_table_name COMPUTE...
[Hive进阶]-- Hive 优化
欢迎来到我的博客，一起探索代码里的世界！
01-18 3985
由于Hive的执行依赖于底层的MapReduce作业，因此对Hadoop作业的优化或者对MapReduce作业的调整是提高Hive性能的基础。所以我们可以通过一系列的调优方法，来提高大幅度地Hive查询的性能。 1、启用压缩 压缩可以使磁盘上存储的数据量变小，通过降低I/O来提高查询速度。 查出所使用的Hive版本支持的压缩编码方式，下面的set命令列出可用的编解码器(CDH 5.8.x中的...
数仓工具—Hive关键字(11)
12-26 5万+
关键字是任何一门语言中都要的一些字符，这些字符都有特殊的含义，一般情况下用户不能直接使用的，因为编译器对关键字是有特殊处理的。 Hive有一些保留的关键字，我们在执行一些语句时，不能将这些关键字作为标识符（Identifier），比如建表语句的表名或者字段名
Hive表有几个T数据包含了20万个Partition,数据分析过程
北京小辉
07-26 1395
目录 1、需求 2、问题 3、解决的方案 3.1、第一种(时间减少30%) 3.2、第二种(时间减少30%–40%,并且可以处理大数据表,不会出现内存溢出) ———————————————————————————— 1、需求: Hive表有几个T数据包含了20万个Partition,目前使用 analyze table 的方式分析表的统计信息速度很慢 2、问题...
Hive 的统计信息和数据采样
互联网知识分享
08-06 868
统计信息可以提供表和分区的数据分布、列的基本统计数据等信息，帮助查询优化器生成更好的执行计划。中，可以使用数据采样来快速预览表或分区的数据分布情况。可以根据具体需求选择不同的统计信息和采样方法来优化查询性能和分析数据。这个命令将计算指定分区的统计信息，并将其存储在元数据中。此命令会遍历表的所有分区，并计算每个分区的统计信息。如果表中有分区，可以对分区级别的统计信息进行收集。这个命令将计算指定列的统计信息，并将其存储在元数据中。表级统计信息包括表的总行数、总字节数、列的基本统计信息等。
hive 分区_基于Hive进行数仓建设的资源元数据信息统计
weixin_39673002的博客
12-01 378
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类：技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间而基于这3类元数据"搭建"起来的元数据系统，通常又会实现如下核心功能：血缘关系如表级别/字段级别的血缘关系，这些主要体现在我们日常的SQL和ETL任务里...
show index from 及analyze table 详解
weixin_34198583的博客
08-19 338
内容参考：官方文档、老叶茶馆、姜承尧的InnoDB存储引擎2https://mp.weixin.qq.com/s/1MsyxhtG6Zk3Q9gIV2QVbA https://dev.mysql.com/doc/refman/5.7/en/show-index.htmlhttps://dev.mysql.com/doc/refman/5.7/en/innodb-analyze...
数仓工具—Hive语法之collect_set 和 collect_list(17)
热门推荐
06-30 6万+
collect_set 和 collect_list 今天我们介绍两个函数 collect_sets 和 collect_list，其实看到这两个函数的名字你也能猜个七七八八了，我们都知道如果我们在使用聚合函数的时候，或者分组汇总的时候，我们算出来的都是具体的指标，例如求和、计数什么的，举个例子，假设 我们有一张表student(stu_id int,class_id int),一般情况下我们都是统计这个每个班级有多少学生，那这个SQL 很简单 select class_id,count(stu_id)
Hive性能优化简介 （顺便介绍了性能工具--ANALYZE）
u011495642的博客
11-21 1079
ANALYZE关键字可以收集数值统计信息。 加速查询，直接从统计信息中拿，而不会再启动mapreduce去查询。 用desc命令去查统计信息。     Hive性能优化包含以下点： partition table 这是最好的优化，比如用年月日，部门 联合查询，可以先按xx做分区，再按别的做分区   bucket table  经常被join连接查询的这种column上建立b...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值