compute stats表和列统计信息

已于 2022-02-24 15:52:18 修改
阅读量1.4k 收藏
点赞数
分类专栏： 工作 文章标签： impala
于 2022-02-21 10:40:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39331255/article/details/123008483
版权

1.用于统计表列和分区的数据分布情况;
2.收集的信息存储在元数据库中,用于Impala执行时自动优化查询
3.主要优化join关联方式（大表关联小表广播，大表关联大表hash），一旦设定了 hint，那么compute就不生效了
compute仅对没有设置hint的有效，并且结果集关联，并不能知道结果集的数据量,impala无法准确优化关联，就失去意义了
4.广播指将右表往左表所在的每个节点都传输一份。
hash指根据关联字段，将右表按照关联字段传输到左表对应字段的节点
全表扫描
compute stats 表
分区表扫描
compute incremental stats 表 partition(biz_date=20220218)
compute incremental stats 表 partition(biz_date<=20220218)
compute incremental stats 表 partition(biz_date >= 20211230 and biz_date <=20220218)
compute incremental stats 表 partition(biz_date !=20220218)
compute incremental stats 表 partition(biz_date in(20220201,20220210,20220218))
数据展示
在这里插入图片描述

未做compute前
在这里插入图片描述在这里插入图片描述
做compute在这里插入图片描述在这里插入图片描述删除统计信息
在这里插入图片描述

五块兰州拉面
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
03-KVM和华为FusionCompute架构
09-27
这是云计算知识系列视频的第三部分，KVM和华为FusionCompute架构。学习本视频只需要具有计算机网络基本知识就可以看懂。
FusionCompute安装流程
02-23
华为FusionCompute 8.0.0版本的安装流程，其中有安装CNA,VRM 操作步骤，服务器配置要求，本地PC安装FusionCompute安装包过程等
Impala的命令COMPUTE STATS
禧年
01-24 1263
COMPUTE STATS主要作用： 收集有关表中数据的容量和分布以及所有相关列和分区的信息。这些信息存储在metastore数据库中，Impala使用这些信息来帮助优化查询。例如，如果Impala可以确定一个表是大是小，或者有很多或很少不同的值，它就可以为一个连接查询或插入操作适当地组织并行化工作。 语法： COMPUTE STATS [db_name.]table_name COMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partit
impala优化 COMPUTE STATS 与COMPUTE INCREMENTAL STATS
张不帅
08-09 4008
计算统计声明 COMPUTE STATS语句收集有关表以及所有关联的列和分区中的数据量和分布的信息。该信息存储在metastore数据库中，并由Impala用于帮助优化查询。例如，如果Impala可以确定表是大是小，或者具有许多或很少的不同值，则它可以适当地组织和并行化工作以进行联接查询或插入操作。有关此语句收集的各种信息的详细信息，请 参见表和列统计信息。 句法： COMPUTE STATS [db_name.]table_name [ ( column_list ) ] [TABLESAMPLE SY
Impala SQL语句 COMPUTE STATS
chenzl的专栏
10-25 4872
COMPUTE STATS 语句收集卷信息, 表列和分区的数据分布情况; 收集的信息存储在元数据库中,用于优化Impala查询; 例如,如果Impala能确定一张表是大还是小,表里有多少唯一值,就可以为join查询或插入操作组织和并行化工作线程; 实例 CDH 5.10 / Impala 2.8之后,可以对分区表使用COMPUTE INCREMENTAL STATS,以替代对全表或一次一个分区的操...
OLAP(三)：Impala介绍 、 (和hive/spark对比)、COMPUTE STATS
.
02-08 7167
一、Impala概述 Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。换句话说，Impala是性能最高的SQL引擎（提供类似RDBMS的体验），它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。 二、为什么选择Impala？Impala的优点：Impala数据查询效率比Hive快几倍甚至数十倍 Impala通过使用标准组件（如HDFS，HBase.................
Impala 2.12.0与3.4.0版本的compute stats兼容问题
skyyws的博客
12-23 743
我们在本文中，主要讲了一个我们在从2.12.0版本升级到3.4.0版本的时候，遇到的compute stats的问题。包括了问题描述、代码研究以及重现步骤三个章节。
impala查询优化和explain学习
cclovezbf的博客
03-31 808
是因为看到了这篇文章，想自己再继续研究下。Impala Join策略与执行计划生成作为铺垫，本文首先对Broadcast Join和Partitioned Join进行简要介绍。Broadcast Join 顾名思义，Broadcast Join就是广播的方式进行Join。以下图为例，假设Join操作为SELECT A JOIN B ON A.idB.id，Broadcast Join就是将B表&#…impala版本 3.4.0官网地址翻译： COMPUTE STATS 对于查询优化非常重要。
FusionCompute8.0
12-22
完整的 FusionCompute，OpenStack，VRM，CNA、installer等整套FusionSphere配套软件，通过百度网盘下载连接密码永久生效持续免费更新。测试使用，非商用
FusionCompute_Installer-8.0.0.zip
12-28
cna.vrm
FusionCompute 8.0.1 产品文档
01-19
华为服务器虚拟化最新版产品文档
【OpenStack云平台】搭建openstack云平台
念舒C.ying
08-02 9141
编辑文件/etc/xiandian/openrc.sh,此文件是安装过程中的各项参数，根据每项参数上一行的说明及服务器实际情况进行配置。修改BOOTPROTO=dhcp（dhcp改为static）ONBOOT=no（no改为yes）修改BOOTPROTO=dhcp（dhcp改为static）ONBOOT=no（no改为yes）在浏览器中输入http//192.168.100.10/dashboard。修改/etc/hosts文件添加映射。，期待你的关注~💪💪💪。...
impala中的compute stats语句的作用（转载自网上）
zy103118的博客
09-04 2126
Impala使用Hive运行 ANALYZE TABLE语句生成的信息,Hive生成的统计信息是不可靠的,而且不易使用。 Impala的 COMPUTE STATS语句基于底层编码,大大提高了可靠性。 COMPUTE STATS不需要特别的安装或配置。Hive需要使用单独的 ANALYZE TABLE语句分别统计表和列统计信息, Impala只需使用一个单条语句 COMPUTE STATS语句即可...
impala COMPUTE STATS 指令
servletwjx的博客
03-30 6736
impala COMPUTE STATS 指令最近再测试impala 学习到COMPUTE STATS 但是不明白其中的意思用一张表来举例drop table if exists sjqy.small_bak_inf_ofr_asset_exi_hist;--拆分小表 create table sjqy.small_bak_inf_ofr_asset_exi_hist asselect set_e...
Impala的神奇指令「COMPUTE STATS」
weixin_34238642的博客
01-16 371
项目迭代中用Impala逐步替换原有的Hive作为查询组件，速度有了脱胎换骨的飞跃。但在把原先按列存储的表转换成两个按行存储的表之后，联表查询的表现不那么给力了（原先对Hive的十倍速度优势变成了两倍）。 考虑到项目转用Impala是我的提议，调整存储结构也是我的提议，这个结果确实是个让我丢面子的事情，于是挽起袖子找优化查询的方案。 优...
Impala内存优化实战案例
SunWuKong_Hadoop的博客
12-16 7888
Impala内存优化实战案例 文章来源：畅游DT时代（微信公众号） 作者：中国联通网研院网优部李珂 一. 引言     Hadoop生态中的NoSQL数据分析三剑客Hive、HBase、Impala分别在海量批处理分析、大数据列式存储、实时交互式分析各有所长。尤其是Impala，自从加入Hadoop大家庭以来，凭借其各个特点鲜明的优点博取了广大大数据分析人员的欢心。     ...
Impala性能调优
但行好事，莫问前程
10-06 9515
一、给表分区这个都知道，默认一个表的数据都是放在一个目录下的，对表分区，能够创建一些子目录，查询的时候，指定相应的条件能够实现只去相应的分区下查找数据，。 那么，什么情况下应该对表分区呢？ 1）表非常的大。读整表会耗时很久 2）对表的查询几乎总是要涉及到用来分区的行作为刷选条件。如果对该表的查询几乎都不会采用分区行来作为条件，对表分区就没多大意义了，有时甚至还会适得其反。
impala COMPUTE INCREMENTAL STATS
最新发布
05-16
Impala's COMPUTE INCREMENTAL STATS command is used to gather statistics on table partitions that have been modified since the last time statistics were gathered. This command is useful for improving query performance, as it allows Impala to make better decisions about how to execute queries. When you run COMPUTE INCREMENTAL STATS on a table, Impala will compare the modification time of each partition to the last time statistics were gathered. If a partition has been modified since then, Impala will gather statistics on that partition. If a partition has not been modified, Impala will skip gathering statistics on that partition. To use COMPUTE INCREMENTAL STATS, you can run the following command: ``` COMPUTE INCREMENTAL STATS <table_name> ``` This will gather statistics on any partitions that have been modified since the last time statistics were gathered on the specified table. You can also use the optional PARTITION clause to specify a specific partition to gather statistics on, like this: ``` COMPUTE INCREMENTAL STATS <table_name> PARTITION (<partition_spec>) ``` In this case, Impala will only gather statistics on the specified partition if it has been modified since the last time statistics were gathered.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值