HIVE Statistics(Hive 统计信息) 的说明和查询优化详解

已于 2022-05-05 14:40:04 修改
阅读量8.1k 收藏 21
点赞数 10
分类专栏： hive 文章标签： hive hadoop 数据仓库
于 2022-03-09 19:29:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houzhizhen/article/details/123382856
版权

本文从普通用户的角度讲述 Hive 统计信息，源代码角度请参考。

统计信息的分类

有两种统计信息，第1种为表和分区的统计信息，第2种为分区的统计信息。

表和分区的统计信息

表的统计信息

包括如下内容：

  • numFiles – 文件的数量
  • numRows – 记录数量
  • totalSize – 总文件大小
  • rawDataSize – 原始数据量（因为可以压缩后存储到文件里）

对于分区表，还包括以下内容：

  • numPartitions 1824

显示表的统计信息的语句。

desc extended table_name;

或者

desc formatted table_name;

其中，用 desc formatted table_name 是格式化输出，更容易阅读，统计信息在 Table Parameters 部分，如下面的示例。

Table Parameters:	 	 
	COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\"}
	bucketing_version   	2                   
	numFiles            	1826                
	numPartitions       	1824                
	numRows             	2160165             
	rawDataSize         	3930709572          
	totalSize           	122202436           
	transient_lastDdlTime	1646036041
分区的统计信息

分区的统计信息，内容和非分区表的统计信息一致。显示方法示例：

desc formatted web_sales partition(ws_sold_date_sk=2452642);

在 Partition Parameters: 部分可以找到分区的统计信息。

Partition Parameters:	 	 
	COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\"}
	numFiles            	1                   
	numRows             	2379                
	rawDataSize         	4329780             
	totalSize           	127832              
	transient_lastDdlTime	1646036434

字段的统计信息

字段的统计信息包括字段的最大值，最小值，null 的数量，distinct 的数量等。如一个表的字段统计信息已经收集，在 desc formatted table_name 时，Table Parameters: 的 COLUMN_STATS_ACCURATE有COLUMN_STATS，对应的字段为 true，则表示该字段的统计信息已经收集。 可以用类似以下的命令显示。

desc formatted web_site;
Table Parameters:	 	 
	COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"web_city\":\"true\",\"web_class\":\"true\",\"web_close_date_sk\":\"true\",\"web_company_id\":\"true\",\"web_company_name\":\"true\",\"web_country\":\"true\",\"web_county\":\"true\",\"web_gmt_offset\":\"true\",\"web_manager\":\"true\",\"web_market_manager\":\"true\",\"web_mkt_class\":\"true\",\"web_mkt_desc\":\"true\",\"web_mkt_id\":\"true\",\"web_name\":\"true\",\"web_open_date_sk\":\"true\",\"web_rec_end_date\":\"true\",\"web_rec_start_date\":\"true\",\"web_site_id\":\"true\",\"web_site_sk\":\"true\",\"web_state\":\"true\",\"web_street_name\":\"true\",\"web_street_number\":\"true\",\"web_street_type\":\"true\",\"web_suite_number\":\"true\",\"web_tax_percentage\":\"true\",\"web_zip\":\"true\"}}
	bucketing_version   	2                   
	numFiles            	1                   
	numRows             	32                  
	rawDataSize         	65968               
	totalSize           	6379                
	transient_lastDdlTime	1646818911

查看分区的字段统计信息还是用以下命令。

desc formatted web_sales partition(ws_sold_date_sk=2452642);
显示一个字段的统计信息

非分区表字段的统计信息

DESCRIBE FORMATTED web_site web_site_sk;
OK
col_name            	web_site_sk         	 	 	 	 	 	 	 	 	 	 
data_type           	bigint              	 	 	 	 	 	 	 	 	 	 
min                 	1                   	 	 	 	 	 	 	 	 	 	 
max                 	32                  	 	 	 	 	 	 	 	 	 	 
num_nulls           	0                   	 	 	 	 	 	 	 	 	 	 
distinct_count      	32                  	 	 	 	 	 	 	 	 	 	 
avg_col_len         	                    	 	 	 	 	 	 	 	 	 	 
max_col_len         	                    	 	 	 	 	 	 	 	 	 	 
num_trues           	                    	 	 	 	 	 	 	 	 	 	 
num_falses          	                    	 	 	 	 	 	 	 	 	 	 
bitVector           	                    	 	 	 	 	 	 	 	 	 	 
comment             	from deserializer   	 	 	 	 	 	 	 	 	 	 
COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"web_city\":\"true\",\"web_class\":\"true\",\"web_close_date_sk\":\"true\",\"web_company_id\":\"true\",\"web_company_name\":\"true\",\"web_country\":\"true\",\"web_county\":\"true\",\"web_gmt_offset\":\"true\",\"web_manager\":\"true\",\"web_market_manager\":\"true\",\"web_mkt_class\":\"true\",\"web_mkt_desc\":\"true\",\"web_mkt_id\":\"true\",\"web_name\":\"true\",\"web_open_date_sk\":\"true\",\"web_rec_end_date\":\"true\",\"web_rec_start_date\":\"true\",\"web_site_id\":\"true\",\"web_site_sk\":\"true\",\"web_state\":\"true\",\"web_street_name\":\"true\",\"web_street_number\":\"true\",\"web_street_type\":\"true\",\"web_suite_number\":\"true\",\"web_tax_percentage\":\"true\",\"web_zip\":\"true\"}}	  
Time taken: 0.107 seconds, Fetched: 13 row(s)
一个分区字段的统计信息

DESCRIBE FORMATTED table_name field_name 可以显示一个字段的统计信息，如下所示：

DESCRIBE FORMATTED web_sales web_site_sk;
OK
col_name            	web_site_sk         	 	 	 	 	 	 	 	 	 	 
data_type           	bigint              	 	 	 	 	 	 	 	 	 	 
min                 	1                   	 	 	 	 	 	 	 	 	 	 
max                 	32                  	 	 	 	 	 	 	 	 	 	 
num_nulls           	0                   	 	 	 	 	 	 	 	 	 	 
distinct_count      	32                  	 	 	 	 	 	 	 	 	 	 
avg_col_len         	                    	 	 	 	 	 	 	 	 	 	 
max_col_len         	                    	 	 	 	 	 	 	 	 	 	 
num_trues           	                    	 	 	 	 	 	 	 	 	 	 
num_falses          	                    	 	 	 	 	 	 	 	 	 	 
bitVector           	                    	 	 	 	 	 	 	 	 	 	 
comment             	from deserializer   	 	 	 	 	 	 	 	 	 	 
COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"web_city\":\"true\",\"web_class\":\"true\",\"web_close_date_sk\":\"true\",\"web_company_id\":\"true\",\"web_company_name\":\"true\",\"web_country\":\"true\",\"web_county\":\"true\",\"web_gmt_offset\":\"true\",\"web_manager\":\"true\",\"web_market_manager\":\"true\",\"web_mkt_class\":\"true\",\"web_mkt_desc\":\"true\",\"web_mkt_id\":\"true\",\"web_name\":\"true\",\"web_open_date_sk\":\"true\",\"web_rec_end_date\":\"true\",\"web_rec_start_date\":\"true\",\"web_site_id\":\"true\",\"web_site_sk\":\"true\",\"web_state\":\"true\",\"web_street_name\":\"true\",\"web_street_number\":\"true\",\"web_street_type\":\"true\",\"web_suite_number\":\"true\",\"web_tax_percentage\":\"true\",\"web_zip\":\"true\"}}	  
Time taken: 0.107 seconds, Fetched: 13 row(s)
  • 显示一个分区中字段的统计信息
hive> desc formatted web_sales partition(ws_sold_date_sk=2452536) ws_item_sk;
OK
col_name            	ws_item_sk          	 	 	 	 	 	 	 	 	 	 
data_type           	bigint              	 	 	 	 	 	 	 	 	 	 
min                 	49                  	 	 	 	 	 	 	 	 	 	 
max                 	35997               	 	 	 	 	 	 	 	 	 	 
num_nulls           	0                   	 	 	 	 	 	 	 	 	 	 
distinct_count      	1499                	 	 	 	 	 	 	 	 	 	 
avg_col_len         	                    	 	 	 	 	 	 	 	 	 	 
max_col_len         	                    	 	 	 	 	 	 	 	 	 	 
num_trues           	                    	 	 	 	 	 	 	 	 	 	 
num_falses          	                    	 	 	 	 	 	 	 	 	 	 
bitVector           	                    	 	 	 	 	 	 	 	 	 	 
comment             	from deserializer

统计信息的作用

查询优化

查询优化器根据统计信息，可以生成代价更低的执行计划。

查询结果

有些查询，可以从统计信息中直接获取查询的结果，不用生成作业读取文件。
配置参数如下，当为true 时，可以用统计信息的结果。

<property>
   <name>hive.compute.query.using.stats</name>
   <value>true</value>
   <description>
     When set to true Hive will answer a few queries like count(1) purely using stats
     stored in metastore. For basic stats collection turn on the config hive.stats.autogather to true.
     For more advanced stats collection need to run analyze table queries.
   </description>
 </property>
  • 查询记录数
    可以看到没有生成任务，直接返回结果。
hive> select count(1) from web_site;
OK
32
Time taken: 2.123 seconds, Fetched: 1 row(s)
  • 查询最大值，最小值
hive> select min(ws_item_sk) from web_sales where ws_sold_date_sk=2452536;
OK
49
Time taken: 0.393 seconds, Fetched: 1 row(s)
  • 查询distinct 值 会生成一个作业，这部分 Hive 还没有优化
hive> select count(distinct ws_item_sk) from web_sales where ws_sold_date_sk=2452536;
Query ID = hive_20220310161137_2da6da34-7eda-4e39-a1f5-146c19081333
Total jobs = 1
Launching Job 1 out of 1
Tez session was closed. Reopening...
Session re-established.
Session re-established.
Status: Running (Executing on YARN cluster with App id application_1646016563431_0141)

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
----------------------------------------------------------------------------------------------
Map 1 .......... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 2 ...... container     SUCCEEDED      2          2        0        0       0       0  
Reducer 3 ...... container     SUCCEEDED      1          1        0        0       0       0  
----------------------------------------------------------------------------------------------
VERTICES: 03/03  [==========================>>] 100%  ELAPSED TIME: 4.01 s     
----------------------------------------------------------------------------------------------
Status: DAG finished successfully in 4.01 seconds

Query Execution Summary
----------------------------------------------------------------------------------------------
OPERATION                            DURATION
----------------------------------------------------------------------------------------------
Compile Query                           0.23s
Prepare Plan                            0.08s
Get Query Coordinator (AM)              0.00s
Submit Plan                             3.65s
Start DAG                               0.99s
Run DAG                                 4.01s
----------------------------------------------------------------------------------------------

Task Execution Summary
----------------------------------------------------------------------------------------------
  VERTICES      DURATION(ms)   CPU_TIME(ms)    GC_TIME(ms)   INPUT_RECORDS   OUTPUT_RECORDS
----------------------------------------------------------------------------------------------
     Map 1           2031.00          4,920             68           1,526            1,497
 Reducer 2            445.00          1,000              0           1,497                2
 Reducer 3              0.00            280              0               2                0
----------------------------------------------------------------------------------------------

OK
1497

统计信息自动生成的配置参数

参数hive.stats.autogather配置自动生成表和分区的统计信息。hive.stats.column.autogather 配置自动统计列的统计信息。配置之后，会多一个 Task，收集统计信息，存入 MetaStore。

<property>
    <name>hive.stats.autogather</name>
    <value>true</value>
    <description>A flag to gather statistics (only basic) automatically during the INSERT OVERWRITE command.</description>
  </property>
  <property>
    <name>hive.stats.column.autogather</name>
    <value>true</value>
    <description>A flag to gather column statistics automatically.</description>
  </property>

使用命令手动生成统计信息

生成表的统计信息

以下命令用于生成表的统计信息。如果表是非分区表，则生成所有分区的统计信息。

analyze table web_sales compute statistics;

生成某个分区的统计信息

以下命令用于生成表的某些分区的统计信息。

analyze table web_sales partition(ws_sold_date_sk=2452536) compute statistics;

如果有多个分区列，如 log 表有两个分区字段（dt,hour)，则以下语句生成 20220308 日所有小时分区的统计信息。

analyze table log partition(dt='20220308') compute statistics;

生成表的字段统计信息

以下命令用于生成表的所有字段统计信息。如果表是非分区表，则生成所有分区的所有字段统计信息。

analyze table web_sales compute statistics for columns;

生成表的某些字段统计信息

如果不想生成所有字段的统计信息，在后面加上需要的字段名，如下所示。

analyze table web_sales compute statistics for columns web_site_sk,ws_item_sk;

生成表的某些分区的字段统计信息

analyze table store_sales partition(ss_sold_date_sk=2452536) compute statistics for columns;

多分区字段也可以不全部指定。

生成表的某些分区，某些字段的字段统计信息

analyze table store_sales partition(ss_sold_date_sk=2452536) compute statistics for columns ss_sold_time_sk,ss_item_sk;

禁用某些表的统计信息

对于某些表的数据，不是用 hive 语句生成，而是用外部软件生成，则从统计信息中查询不正确。对于这类表，需要在创建之前设置参数 set hive.stats.autogather=false; 测试如下

创建表

创建标准表 t1，query 尽可能的利用统计信息。

set hive.stats.autogather=true;
create table t1(c1 string) stored as textfile;

查询表的存储路径和 STATS，BASIC_STATS=true 说明包含统计信息。

hive> desc formatted t1;
OK
# col_name            	data_type           	comment             
c1                  	string              	                    
	 	 
# Detailed Table Information	 	 
Database:           	default             	 
OwnerType:          	USER                	 
Owner:              	hive                	 
CreateTime:         	Thu May 05 14:23:57 CST 2022	 
LastAccessTime:     	UNKNOWN             	 
Retention:          	0                   	 
Location:           	hdfs://bmr-cluster/warehouse/tablespace/managed/hive/t1 
Table Type:         	MANAGED_TABLE       	 
Table Parameters:	 	 
	COLUMN_STATS_ACCURATE	{\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"c1\":\"true\"}}
	bucketing_version   	2                   
	numFiles            	0                   
	numRows             	0                   
	rawDataSize         	0                   
	totalSize           	0                   
	transient_lastDdlTime	1651731837          
	 	 
# Storage Information	 	 
SerDe Library:      	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe	 
InputFormat:        	org.apache.hadoop.mapred.TextInputFormat	 
OutputFormat:       	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	 
Compressed:         	No                  	 
Num Buckets:        	-1                  	 
Bucket Columns:     	[]                  	 
Sort Columns:       	[]                  	 
Storage Desc Params:	 	 
	serialization.format	1

在创建表 t2 之前，set hive.stats.autogather=false;。

set hive.stats.autogather=false;
create table t2(c1 string) stored as textfile;

desc 发现，t2 没有 \"BASIC_STATS\":\"true\" 的描述

hive> desc formatted t2;
OK
# col_name            	data_type           	comment             
c1                  	string              	                    
	 	 
# Detailed Table Information	 	 
Database:           	default             	 
OwnerType:          	USER                	 
Owner:              	hive                	 
CreateTime:         	Thu May 05 14:25:21 CST 2022	 
LastAccessTime:     	UNKNOWN             	 
Retention:          	0                   	 
Location:           	hdfs://bmr-cluster/warehouse/tablespace/managed/hive/t2 
Table Type:         	MANAGED_TABLE       	 
Table Parameters:	 	 
	bucketing_version   	2                   
	transient_lastDdlTime	1651731921          
	 	 
# Storage Information	 	 
SerDe Library:      	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe	 
InputFormat:        	org.apache.hadoop.mapred.TextInputFormat	 
OutputFormat:       	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat	 
Compressed:         	No                  	 
Num Buckets:        	-1                  	 
Bucket Columns:     	[]                  	 
Sort Columns:       	[]                  	 
Storage Desc Params:	 	 
	serialization.format	1                   
Time taken: 0.055 seconds, Fetched: 26 row(s)

往表的所在目录直接放入文件

退出 hive，使用 shell 命令往表的所在目录直接放入文件，这是 hive 是不知道的，不会生成统计信息。

hadoop fs -put /etc/hosts hdfs://bmr-cluster/warehouse/tablespace/managed/hive/t1
hadoop fs -put /etc/hosts hdfs://bmr-cluster/warehouse/tablespace/managed/hive/t2

验证

分别从 t1 和 t2 表中查询记录数，可以看到 t1 直接返回，因为使用统计信息。t2 使用了一个作业，查询数据文件，得到记录数 6。以上示例说明

hive> select count(*) from t1;
OK
0
Time taken: 2.76 seconds, Fetched: 1 row(s)
hive> select count(*) from t2;
Query ID = hive_20220505142655_a7a965b0-fbf6-4f19-ae45-4ed49f0fac1c
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1651117468586_0069)

----------------------------------------------------------------------------------------------
        VERTICES      MODE        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  KILLED  
[=============>>-------------] 50%   ELAPSED TIME: 6.10 s     
Map 1 .......... container     SUCCEEDED      1          1        0        0       0       0  
Reducer 2 ...... container     SUCCEEDED      1          1        0        0       0       0  
----------------------------------------------------------------------------------------------
VERTICES: 02/02  [==========================>>] 100%  ELAPSED TIME: 6.22 s     
----------------------------------------------------------------------------------------------
Status: DAG finished successfully in 6.22 seconds

Query Execution Summary
----------------------------------------------------------------------------------------------
OPERATION                            DURATION
----------------------------------------------------------------------------------------------
Compile Query                           0.31s
Prepare Plan                            0.30s
Get Query Coordinator (AM)              0.02s
Submit Plan                             0.36s
Start DAG                               1.00s
Run DAG                                 6.22s
----------------------------------------------------------------------------------------------

Task Execution Summary
----------------------------------------------------------------------------------------------
  VERTICES      DURATION(ms)   CPU_TIME(ms)    GC_TIME(ms)   INPUT_RECORDS   OUTPUT_RECORDS
----------------------------------------------------------------------------------------------
     Map 1           2527.00          3,550             69               6                1
 Reducer 2            123.00            950             17               1                0
----------------------------------------------------------------------------------------------

OK
6
Time taken: 8.291 seconds, Fetched: 1 row(s)
houzhizhen
关注
  • 10
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive查询优化
10-21
hive作为hadoop系列的计算模型，在公司的数据清洗和报表开发广泛使用，合理的优化自己的语句结构可以节省计算时间，优化集群的计算资源，下面总结下日常工作中自己碰到的一些问题和别人总结的一些方法。
【博学谷学习记录】超强总结，用心分享|狂野大数据课程 【Hive查询操作】
GaryNB的博客
03-25 245
3、我们需要设置一个参数，不让SQL去元数据中获取行数，而是执行这条SQL对文件进行出来，自己来统计行数：set hive.compute.query.using.stats=false;1、在Hive的一些版本中，当使用聚合函数来统计时，发现SQL语句没有返回返回任何结果。2、因为Hive默认是去MySQL的元数据中获取文件的行数、但是元数据中默认行数都是0。
Hive 的统计信息和数据采样
互联网知识分享
08-06 732
统计信息可以提供表和分区的数据分布、列的基本统计数据等信息，帮助查询优化器生成更好的执行计划。中，可以使用数据采样来快速预览表或分区的数据分布情况。可以根据具体需求选择不同的统计信息和采样方法来优化查询性能和分析数据。这个命令将计算指定分区的统计信息，并将其存储在元数据中。此命令会遍历表的所有分区，并计算每个分区的统计信息。如果表中有分区，可以对分区级别的统计信息进行收集。这个命令将计算指定列的统计信息，并将其存储在元数据中。表级统计信息包括表的总行数、总字节数、列的基本统计信息等。
hive中常见参数优化总结
最新发布
DaDiNiWangGe的博客
02-29 621
hive常见参数优化总结
元数据管理-hive表Statistics信息获取
songjifei的专栏
03-06 4695
1概述 表的基础信息维护展示是数据仓库元数据管理的主要内容之一，对于hive来说如表名，表注释，内外表类型，列的字段名、字段类型、字段备注、是否是分区字段，存储文件类型，压缩格式等信息，这些都是在建表时就可以获取的。还有一些和表中数据存储相关的信息，比如行数，文件数，压缩前后存储大小等信息是随着ETL数据变化而变化的，我们希望在ETL结束后能够获取这些最新信息到我们元数据管理系统中。庆幸的是hi...
Hive SQL查询参数优化
wangkuangood3200的专栏
12-07 1878
【参数一】 hive.fetch.task.conversion决定sql查询是否以集群模式运行 查询sql ： select trans_params,trans_result from ods.tablename where trans_code=‘CF000078’ limit 10 耗时很长，期间没有走集群，查看日志查询会fetch HDFS每日数据分区 查看执行计划： explain select trans_params,trans_result from ods.tablename w.
Hive基本使用（1）
qq_37232843的博客
06-19 1247
hive ddl
hive数据仓库HQL语句之DDL语法
派大星的博客
08-29 883
DDL
Hive优化
CD
05-17 2805
Hive优化可以通过以下来进行考虑 1、建立表分区 使用场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 指定静态分区或者动态分区 静态分区： 静态分区是手动输入分区名称，在创建表时使用关键字PARTITIONED BY指定分区列名及数据类型。应用开发时，使用ALTER T...
大数据时代--Hive数据定义
王洋的专栏
09-14 3818
Hive中数据库的相关操作 数据库的创建、删除 hive (default)> create database if not exists wyTest; OK Time taken: 0.69 seconds hive (default)> show databases; OK default wytest Time taken: 0.031 seconds, Fetched: 2 row(
Impala和Hive的关系（详解）
01-27
Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析，实现了Hive的SQL语义的子集，功能还在不断的完善中。...
HIVE查询优化
01-07
Hive QL的执行本质上是MR任务的运行，因此优化主要考虑到两个方面：Mapreduce任务优化、SQL语句优化 一、Mapreduce任务优化 1、设置合理的task数量（map task、reduce task） 这里有几个考虑的点，一方面Hadoop MR ...
hive 中join和Group的优化
01-07
group by 优化 set hive.map.aggr = true; //是否在 Map 端进行聚合，默认为 True ；该设置会消耗更多的内存。 set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive....
hive中 count结果和spark sql中count结果不一致
yy的博客
08-20 1047
hive spark
[一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics)
tony的专栏
05-06 2777
类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。 表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等； 14.1 新表的统计信息 对于一个新创建的表，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计
Hive 中 formatted 的使用
热门推荐
RayfunC的博客
01-16 1万+
select * from 表名： 查询该表名的所有字段记录 desc formatted 表名： 查看该表的结构，而并查看不了表中的数据 示例: 创建一个表 create table if not exists student( id int, name string ) row format delimited fields terminated by '\t' stored as tex...
[hive]hive count(*)=0但是select *有数据
胖胖的博客
02-06 405
当设置hive.compute.query.using.stats=true时,hive在执行某些查询时，例如select count()，只利用元数据存储中保存的状态信息返回结果，从而提高了响应速度。这是一个CBO(基于成本的优化)的设置。
Hive 在工作中的调优总结
fx67ll的博客
02-13 819
总结了一下在以往工作中，对于`Hive SQL`调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~
hive查询优化 增加查询速度
05-24
以下是一些优化Hive查询的技巧，可以帮助提高查询速度： 1. 分区表：将数据按照某个列分成若干个分区，可以减少数据扫描量，提高查询性能。 2. 压缩数据：使用压缩格式（如Snappy、LZO、Gzip等）可以减小数据存储占用的空间，同时也可以减少磁盘IO和网络传输开销。 3. 合理使用索引：建立合适的索引可以加快查询速度，但是过多或不合理的索引也会降低性能。 4. 使用Bucket：Bucket是在分区基础上进行的数据分割，可以更快地执行特定类型的聚合操作。 5. 合理设置MapReduce参数：根据实际情况，调整MapReduce相关参数，如mapreduce.tasktracker.map.tasks.maximum、mapreduce.tasktracker.reduce.tasks.maximum、mapreduce.map.memory.mb、mapreduce.reduce.memory.mb等，以达到更好的性能。 6. 避免使用小文件：Hadoop集群中会对小文件进行合并，如果查询数据中存在大量小文件，会影响查询性能。 7. 避免全表扫描：尽可能使用where子句来限制查询范围，避免全表扫描。 8. 减少数据倾斜：数据倾斜会导致某些节点的负载过重，从而影响查询性能。可以使用一些技术手段，如重分区、增加随机数等来减少数据倾斜。 希望以上技巧能够帮助你提高Hive查询速度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值