Hadoop-impala十大优化之（3）—impala表和列信息统计操作最佳实践

最新推荐文章于 2023-07-05 10:23:13 发布
最新推荐文章于 2023-07-05 10:23:13 发布
阅读量5.2k 收藏 10
点赞数 2
分类专栏： hadoop 大数据 impala 文章标签： hadoop impala 优化 性能优化 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seeyouc/article/details/53463075
版权
hadoop 同时被 3 个专栏收录
11 篇文章 1 订阅
订阅专栏
impala
9 篇文章 4 订阅
订阅专栏
大数据
7 篇文章 0 订阅
订阅专栏

1.1  Hadoop-impala十大优化之（3）—impala表和列信息统计操作

1.1.1  表和列的信息统计

show table stats parquet_snappy;

compute stats parquet_snappy;

n  如果是hive的话，统计信息命令如下

u  ANALYZE TABLE COMPUTE STATISTICS FOR COLUMNS

show table stats parquet_snappy;

+-------+--------+---------+--------------+-------------------+---------+-------------------+...

| #Rows | #Files | Size    | Bytes Cached | Cache Replication | Format  | Incremental stats |...

+-------+--------+---------+--------------+-------------------+---------+-------------------+...

| -1    | 96     | 23.35GB | NOT CACHED   | NOT CACHED        | PARQUET | false             |...

+-------+--------+---------+--------------+-------------------+---------+-------------------+...

 

compute stats parquet_snappy;

+-----------------------------------------+

| summary                                 |

+-----------------------------------------+

| Updated 1 partition(s) and 6 column(s). |

+-----------------------------------------+

 

 

show table stats parquet_snappy;

+------------+--------+---------+--------------+-------------------+---------+-------------------+...

| #Rows      | #Files | Size    | Bytes Cached | Cache Replication | Format  | Incremental stats |...

+------------+--------+---------+--------------+-------------------+---------+-------------------+...

| 1000000000 | 96     | 23.35GB | NOT CACHED   | NOT CACHED        | PARQUET | false             |...

+------------+--------+---------+--------------+-------------------+---------+-------------------+...

1.1.2  关于列的信息统计

show column stats parquet_snappy;

compute stats parquet_snappy;

 

show column stats parquet_snappy;

+-------------+----------+------------------+--------+----------+----------+

| Column      | Type     | #Distinct Values | #Nulls | Max Size | Avg Size |

+-------------+----------+------------------+--------+----------+----------+

| id          | BIGINT   | -1               | -1     | 8        | 8        |

| val         | INT      | -1               | -1     | 4        | 4        |

| zerofill    | STRING   | -1               | -1     | -1       | -1       |

| name        | STRING   | -1               | -1     | -1       | -1       |

| assertion   | BOOLEAN  | -1               | -1     | 1        | 1        |

| location_id | SMALLINT | -1               | -1     | 2        | 2        |

+-------------+----------+------------------+--------+----------+----------+

 

compute stats parquet_snappy;

+-----------------------------------------+

| summary                                 |

+-----------------------------------------+

| Updated 1 partition(s) and 6 column(s). |

+-----------------------------------------+

 

show column stats parquet_snappy;

+-------------+----------+------------------+--------+----------+-------------------+

| Column      | Type     | #Distinct Values | #Nulls | Max Size | Avg Size          |

+-------------+----------+------------------+--------+----------+-------------------+

| id          | BIGINT   | 183861280        | -1     | 8        | 8                 |

| val         | INT      | 139017           | -1     | 4        | 4                 |

| zerofill    | STRING   | 101761           | -1     | 6        | 6                 |

| name        | STRING   | 145636240        | -1     | 22       | 13.00020027160645 |

| assertion   | BOOLEAN  | 2                | -1     | 1        | 1                 |

| location_id | SMALLINT | 339              | -1     | 2        | 2                 |

+-------------+----------+------------------+--------+----------+-------------------+

1.1.3  有关分区表的信息统计

show partitions year_month_day;

+-------+-------+-----+-------+--------+---------+--------------+-------------------+---------+...

| year  | month | day | #Rows | #Files | Size    | Bytes Cached | Cache Replication | Format  |...

+-------+-------+-----+-------+--------+---------+--------------+-------------------+---------+...

| 2013  | 12    | 1   | -1    | 1      | 2.51MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 2   | -1    | 1      | 2.53MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 3   | -1    | 1      | 2.52MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 4   | -1    | 1      | 2.51MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 5   | -1    | 1      | 2.52MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| Total |       |     | -1    | 5      | 12.58MB | 0B           |                   |         |...

+-------+-------+-----+-------+--------+---------+--------------+-------------------+---------+...

 

show table stats year_month_day;

+-------+-------+-----+-------+--------+---------+--------------+-------------------+---------+...

| year  | month | day | #Rows | #Files | Size    | Bytes Cached | Cache Replication | Format  |...

+-------+-------+-----+-------+--------+---------+--------------+-------------------+---------+...

| 2013  | 12    | 1   | -1    | 1      | 2.51MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 2   | -1    | 1      | 2.53MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 3   | -1    | 1      | 2.52MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 4   | -1    | 1      | 2.51MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 5   | -1    | 1      | 2.52MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| Total |       |     | -1    | 5      | 12.58MB | 0B           |                   |         |...

+-------+-------+-----+-------+--------+---------+--------------+-------------------+---------+...

 

show column stats year_month_day;

+-----------+---------+------------------+--------+----------+----------+

| Column    | Type    | #Distinct Values | #Nulls | Max Size | Avg Size |

+-----------+---------+------------------+--------+----------+----------+

| id        | INT     | -1               | -1     | 4        | 4        |

| val       | INT     | -1               | -1     | 4        | 4        |

| zfill     | STRING  | -1               | -1     | -1       | -1       |

| name      | STRING  | -1               | -1     | -1       | -1       |

| assertion | BOOLEAN | -1               | -1     | 1        | 1        |

| year      | INT     | 1                | 0      | 4        | 4        |

| month     | INT     | 1                | 0      | 4        | 4        |

| day       | INT     | 5                | 0      | 4        | 4        |

+-----------+---------+------------------+--------+----------+----------+

 

compute stats year_month_day;

+-----------------------------------------+

| summary                                 |

+-----------------------------------------+

| Updated 5 partition(s) and 5 column(s). |

+-----------------------------------------+

 

show table stats year_month_day;

+-------+-------+-----+--------+--------+---------+--------------+-------------------+---------+...

| year  | month | day | #Rows  | #Files | Size    | Bytes Cached | Cache Replication | Format  |...

+-------+-------+-----+--------+--------+---------+--------------+-------------------+---------+...

| 2013  | 12    | 1   | 93606  | 1      | 2.51MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 2   | 94158  | 1      | 2.53MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 3   | 94122  | 1      | 2.52MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 4   | 93559  | 1      | 2.51MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| 2013  | 12    | 5   | 93845  | 1      | 2.52MB  | NOT CACHED   | NOT CACHED        | PARQUET |...

| Total |       |     | 469290 | 5      | 12.58MB | 0B           |                   |         |...

+-------+-------+-----+--------+--------+---------+--------------+-------------------+---------+...

 

show column stats year_month_day;

+-----------+---------+------------------+--------+----------+-------------------+

| Column    | Type    | #Distinct Values | #Nulls | Max Size | Avg Size          |

+-----------+---------+------------------+--------+----------+-------------------+

| id        | INT     | 511129           | -1     | 4        | 4                 |

| val       | INT     | 364853           | -1     | 4        | 4                 |

| zfill     | STRING  | 311430           | -1     | 6        | 6                 |

| name      | STRING  | 471975           | -1     | 22       | 13.00160026550293 |

| assertion | BOOLEAN | 2                | -1     | 1        | 1                 |

| year      | INT     | 1                | 0      | 4        | 4                 |

| month     | INT     | 1                | 0      | 4        | 4                 |

| day       | INT     | 5                | 0      | 4        | 4                 |

+-----------+---------+------------------+--------+----------+-------------------+

1.1.4  增量信息统计

在2.1.0高，你可以使用语法计算增量数据和增量数据下降。增量子句与增量统计工作，是一个专门的功能分区表，是大或经常更新新的分区。

INCREMENTAL STATS or DROP INCREMENTAL STATS statement.

1.1.5  什么时候需要重新统计信息

      当一个内容表或分区明显变化，重新计算统计相关数据表或分区。

     变化是“重大”的程度不同，根据表的绝对和相对大小。

     通常，如果你添加了30%多个数据表，这是值得重新计算统计，因为行和不同值的数量差异可能导致impala选择不同的连接顺序时，表中使用的查询。这个指南对于最大的表是最重要的。

例如，增加30%个新的数据表中含有1 TB的具有更大的影响比加入顺序加30%表只包含几兆字节，而较大的表对查询性能有较大的影响如果impala选择一个次优顺序连接由于过时的统计数据。

     如果你加载一个完整的数据表中的数据的新的集合，而每一列的行数和不同值的数量是相对不变的，你不需要重新计算统计表。

     如果一个表的数据是过时的，和表的大小使它重新计算新的数据立即不切实际，你可以使用下拉数据声明删除过时的数据，使其更容易识别，需要一个新的计算统计操作表。

对于一个大的分区表，请考虑使用增量统计特征在Impala 2.1.0高可用，在增量统计概要说明。如果你添加一个新的分区表，这是值得重新计算增量数据，因为操作只需扫描数据，一个新的分区。

1.1.6  查看表和列的统计信息样例

[localhost:21000] > show table stats store;

+-------+--------+--------+--------+

| #Rows | #Files | Size   | Format |

+-------+--------+--------+--------+

| -1    | 1      | 3.08KB | TEXT   |

+-------+--------+--------+--------+

|Returned 1 row(s) in 0.03s

[localhost:21000] > show column stats store;

+--------------------+-----------+------------------+--------+----------+----------+

| Column             | Type      | #Distinct Values | #Nulls | Max Size | Avg Size |

+--------------------+-----------+------------------+--------+----------+----------+

| s_store_sk         | INT       | -1               | -1     | 4        | 4        |

| s_store_id         | STRING    | -1               | -1     | -1       | -1       |

| s_rec_start_date   | TIMESTAMP | -1               | -1     | 16       | 16       |

| s_rec_end_date     | TIMESTAMP | -1               | -1     | 16       | 16       |

| s_closed_date_sk   | INT       | -1               | -1     | 4        | 4        |

| s_store_name       | STRING    | -1               | -1     | -1       | -1       |

| s_number_employees | INT       | -1               | -1     | 4        | 4        |

| s_floor_space      | INT       | -1               | -1     | 4        | 4        |

| s_hours            | STRING    | -1               | -1     | -1       | -1       |

| s_manager          | STRING    | -1               | -1     | -1       | -1       |

| s_market_id        | INT       | -1               | -1     | 4        | 4        |

| s_geography_class  | STRING    | -1               | -1     | -1       | -1       |

| s_market_desc      | STRING    | -1               | -1     | -1       | -1       |

| s_market_manager   | STRING    | -1               | -1     | -1       | -1       |

| s_division_id      | INT       | -1               | -1     | 4        | 4        |

| s_division_name    | STRING    | -1               | -1     | -1       | -1       |

| s_company_id       | INT       | -1               | -1     | 4        | 4        |

| s_company_name     | STRING    | -1               | -1     | -1       | -1       |

| s_street_number    | STRING    | -1               | -1     | -1       | -1       |

| s_street_name      | STRING    | -1               | -1     | -1       | -1       |

| s_street_type      | STRING    | -1               | -1     | -1       | -1       |

| s_suite_number     | STRING    | -1               | -1     | -1       | -1       |

| s_city             | STRING    | -1               | -1     | -1       | -1       |

| s_county           | STRING    | -1               | -1     | -1       | -1       |

| s_state            | STRING    | -1               | -1     | -1       | -1       |

| s_zip              | STRING    | -1               | -1     | -1       | -1       |

| s_country          | STRING    | -1               | -1     | -1       | -1       |

| s_gmt_offset       | FLOAT     | -1               | -1     | 4        | 4        |

| s_tax_percentage   | FLOAT     | -1               | -1     | 4        | 4        |

+--------------------+-----------+------------------+--------+----------+----------+

Returned 29 row(s) in 0.04s

在分析列统计表的表报表时，您必须指定用于收集统计数据的每个列。impala计算统计报表自动汇总所有列的统计，因为它读取整个表比较快，可以有效地计算所有列的值。这个例子显示了运行后的计算统计报表，统计数据被填充在表和它的所有列中：

[localhost:21000] > compute stats store;

+------------------------------------------+

| summary                                  |

+------------------------------------------+

| Updated 1 partition(s) and 29 column(s). |

+------------------------------------------+

|Returned 1 row(s) in 1.88s

[localhost:21000] > show table stats store;

+-------+--------+--------+--------+

| #Rows | #Files | Size   | Format |

+-------+--------+--------+--------+

| 12    | 1      | 3.08KB | TEXT   |

+-------+--------+--------+--------+

|Returned 1 row(s) in 0.02s

[localhost:21000] > show column stats store;

+--------------------+-----------+------------------+--------+----------+-------------------+

| Column             | Type      | #Distinct Values | #Nulls | Max Size | Avg Size          |

+--------------------+-----------+------------------+--------+----------+-------------------+

| s_store_sk         | INT       | 12               | -1     | 4        | 4                 |

| s_store_id         | STRING    | 6                | -1     | 16       | 16                |

| s_rec_start_date   | TIMESTAMP | 4                | -1     | 16       | 16                |

| s_rec_end_date     | TIMESTAMP | 3                | -1     | 16       | 16                |

| s_closed_date_sk   | INT       | 3                | -1     | 4        | 4                 |

| s_store_name       | STRING    | 8                | -1     | 5        | 4.25              |

| s_number_employees | INT       | 9                | -1     | 4        | 4                 |

| s_floor_space      | INT       | 10               | -1     | 4        | 4                 |

| s_hours            | STRING    | 2                | -1     | 8        | 7.083300113677979 |

| s_manager          | STRING    | 7                | -1     | 15       | 12                |

| s_market_id        | INT       | 7                | -1     | 4        | 4                 |

| s_geography_class  | STRING    | 1                | -1     | 7        | 7                 |

| s_market_desc      | STRING    | 10               | -1     | 94       | 55.5              |

| s_market_manager   | STRING    | 7                | -1     | 16       | 14                |

| s_division_id      | INT       | 1                | -1     | 4        | 4                 |

| s_division_name    | STRING    | 1                | -1     | 7        | 7                 |

| s_company_id       | INT       | 1                | -1     | 4        | 4                 |

| s_company_name     | STRING    | 1                | -1     | 7        | 7                 |

| s_street_number    | STRING    | 9                | -1     | 3        | 2.833300113677979 |

| s_street_name      | STRING    | 12               | -1     | 11       | 6.583300113677979 |

| s_street_type      | STRING    | 8                | -1     | 9        | 4.833300113677979 |

| s_suite_number     | STRING    | 11               | -1     | 9        | 8.25              |

| s_city             | STRING    | 2                | -1     | 8        | 6.5               |

| s_county           | STRING    | 1                | -1     | 17       | 17                |

| s_state            | STRING    | 1                | -1     | 2        | 2                 |

| s_zip              | STRING    | 2                | -1     | 5        | 5                 |

| s_country          | STRING    | 1                | -1     | 13       | 13                |

| s_gmt_offset       | FLOAT     | 1                | -1     | 4        | 4                 |

| s_tax_percentage   | FLOAT     | 5                | -1     | 4        | 4                 |

+--------------------+-----------+------------------+--------+----------+-------------------+

Returned 29 row(s) in 0.04s


​

下面的示例显示了如何将统计数据表示为一个分区表。在这种情况下，我们已经建立了一个表，以保持世界上最琐碎的人口普查数据，一个单一的字符串字段，按一年的列分区。表统计包括每个分区的单独的条目，以及数字字段的最终总计。列数据包括分区列一些容易推断出来的事实，如不同值的数量（划分子目录的数量）。

localhost:21000] > describe census;

+------+----------+---------+

| name | type     | comment |

+------+----------+---------+

| name | string   |         |

| year | smallint |         |

+------+----------+---------+

Returned 2 row(s) in 0.02s

[localhost:21000] > show table stats census;

+-------+-------+--------+------+---------+

| year  | #Rows | #Files | Size | Format  |

+-------+-------+--------+------+---------+

| 2000  | -1    | 0      | 0B   | TEXT    |

| 2004  | -1    | 0      | 0B   | TEXT    |

| 2008  | -1    | 0      | 0B   | TEXT    |

| 2010  | -1    | 0      | 0B   | TEXT    |

| 2011  | 0     | 1      | 22B  | TEXT    |

| 2012  | -1    | 1      | 22B  | TEXT    |

| 2013  | -1    | 1      | 231B | PARQUET |

| Total | 0     | 3      | 275B |         |

+-------+-------+--------+------+---------+

Returned 8 row(s) in 0.02s

[localhost:21000] > show column stats census;

+--------+----------+------------------+--------+----------+----------+

| Column | Type     | #Distinct Values | #Nulls | Max Size | Avg Size |

+--------+----------+------------------+--------+----------+----------+

| name   | STRING   | -1               | -1     | -1       | -1       |

| year   | SMALLINT | 7                | -1     | 2        | 2        |

+--------+----------+------------------+--------+----------+----------+

Returned 2 row(s) in 0.02s

The following example shows how the statistics are filled in by a COMPUTE STATS statement in Impala.

[localhost:21000] > compute stats census;

+-----------------------------------------+

| summary                                 |

+-----------------------------------------+

| Updated 3 partition(s) and 1 column(s). |

+-----------------------------------------+

|Returned 1 row(s) in 2.16s

[localhost:21000] > show table stats census;

+-------+-------+--------+------+---------+

| year  | #Rows | #Files | Size | Format  |

+-------+-------+--------+------+---------+

| 2000  | -1    | 0      | 0B   | TEXT    |

| 2004  | -1    | 0      | 0B   | TEXT    |

| 2008  | -1    | 0      | 0B   | TEXT    |

| 2010  | -1    | 0      | 0B   | TEXT    |

| 2011  | 4     | 1      | 22B  | TEXT    |

| 2012  | 4     | 1      | 22B  | TEXT    |

| 2013  | 1     | 1      | 231B | PARQUET |

| Total | 9     | 3      | 275B |         |

+-------+-------+--------+------+---------+

Returned 8 row(s) in 0.02s

[localhost:21000] > show column stats census;

+--------+----------+------------------+--------+----------+----------+

| Column | Type     | #Distinct Values | #Nulls | Max Size | Avg Size |

+--------+----------+------------------+--------+----------+----------+

| name   | STRING   | 4                | -1     | 5        | 4.5      |

| year   | SMALLINT | 7                | -1     | 2        | 2        |

+--------+----------+------------------+--------+----------+----------+

Returned 2 row(s) in 0.02s

DBApower
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据基础操作说明-HADOOP HIVE IMPALA
11-24
HADOOP 文件系统SHELL； hive批处理、交互式SHELL； IMPALA介绍、支持的命令。
impala 概述
weixin_30911451的博客
01-29 535
impala 概述 什么是Impala？ Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。 换句话说，Impala是性能最高的SQL引擎（提供类似RDBMS的体验），它提供了访问存储在Hadoop分布式文件系统中...
Impala3.4源码阅读笔记（一）data-cache功能
最新发布
Eyizoha的博客
07-05 452
本文为笔者个人阅读源码时的笔记，仅代表我个人对代码的理解，个人水平有限，文章可能存在理解错误、遗漏或者过时之处。如果有任何错误或者有更好的见解，欢迎指正。基本信息data-cache是impala在本地的数据缓存，采用LRU策略存储频繁使用的表数据，避免每次使用都要从HDFS再次读取，从而加快数据读取速度。data-cache可以包括多个缓存分区，分区大小配额和存放路径通过参数配置，可参考。模块结构data-cache功能由DataCache。
从hudi持久化文件理解其核心概念
hncscwc的博客
02-16 1481
【概述】这是hudi系列的第一篇文章，先从核心概念，存储的文件格式加深对概念的理解，后续再逐步对使用（spark/flink入hudi，hudi同步hive等）、原理（压缩机制，索引，聚族...
Impala table/column统计分析
weixin_34413103的博客
03-10 1313
为什么80%的码农都做不了架构师？>>> ...
impala介绍
csdn问鼎
08-26 1898
目录结构参考cloudera manager impala  guide impala概述 impala提供了对hdfs文件格式的数据的高性能、低延迟SQL查询。 查询的快速响应使得能够对分析查询进行交互式探索和调优， 而不是传统上与SQL-on-Hadoop技术相关联的长批作业。 impala与hive数据库集成，共享两个组件之间的数据库和表。 与Hive的高级集成以及与HiveQL语法...
一文读懂Impala统计信息相关知识
skyyws的博客
09-14 2652
本文主要介绍了Impala的表级别、列级别的统计信息内容，以及几种不同场景下的统计信息计算，最后简单介绍了统计信息是如何获取的。总的来说，统计信息可以帮助Impala生成更优的执行计划，对于减少内存消耗也有一定的帮助，是非常重要的信息，对于其他的计算引擎也是一样。
关于analyze table命令
ksgimi
04-18 1312
[b]analyze table t1 compute statistics for table; analyze table t2 compute statistics for all columns; analyze table t3 compute statistics for all indexed columns; analyze table t4 compute statisti...
Impala的命令COMPUTE STATS
禧年
01-24 1257
COMPUTE STATS主要作用： 收集有关表中数据的容量和分布以及所有相关列和分区的信息。这些信息存储在metastore数据库中，Impala使用这些信息来帮助优化查询。例如，如果Impala可以确定一个表是大是小，或者有很多或很少不同的值，它就可以为一个连接查询或插入操作适当地组织并行化工作。 语法： COMPUTE STATS [db_name.]table_name COMPUTE INCREMENTAL STATS [db_name.]table_name [PARTITION (partit
hadoop之impala简单使用共8页.pdf.zip
10-29
hadoop之impala简单使用共8页.pdf.zip
[Ambari]==Ambari+Hadoop3集成impala3.2、kudu1.10.0
11-26
ambari2.7.5集成HDP3,本身不带impala、kudu 故集成cloudera的impala、kudu安装方式 ambari插件安装方式。 解压放到/var/lib/ambari-server/resources/stacks/HDP/3.1/services/下
impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip
03-31
ambari集成impala-3.0.0依赖cdh版本的hadoop-hbase-hive相关jar包，查hive外部表(基于hbase)
Hadoop-impala十大优化之（4）—根据执行计划进行性能优化及最佳实践
DBA技术与案例记录
12-12 7970
之间，以及如何将中间结果合并到生成最终结果集。在实际运行查询之前，您可以看到这些详细信息。您可以使用此信息来检查查询将不会在一些非常意想不到的或低效的方式操作。 [impalad-host:21000]> explain select count(*) from customer_address; +---------------------------------------------
Hadoop-impala十大优化之（2）—impala连接查询性能优化及最佳实践
DBA技术与案例记录
12-06 7762
1.1  Hadoop-impala十大优化之（2）—impala连接查询的性能优化         涉及连接操作的查询通常需要更多的调整，而不是仅指一个表的查询。从联接查询集合查询的结果集的最大大小是所有联接表中的行数的乘积。当加入数个表有数以百万计或数十亿的行，任何错过的机会过滤结果集，或其他低效的查询，可能导致一个操作，不完成在一个实际的时间，必须被取消。          调整Imp
hadoop-impala十大优化之（8）—impala优化之HDFS缓存最佳实践
DBA技术与案例记录
12-21 7700
1.1  Hadoop-impala十大优化之（8）—HDFS缓存最佳实践 1)       HDFS缓存的Impala的概述 2)       设置缓存为HDFS的Impala 3)       使用HDFS的Impala表和分区缓存 4)       加载和HDFS启用缓存删除数据 5)       HDFS的缓存管理和Impala 6)       HDFS的缓
hadoop-impala十大优化之（7）—Impala查询运行时过滤最佳实践
DBA技术与案例记录
12-15 5934
1.1  Hadoop-impala hadoop-impala十大优化之（7）—Impala查询运行时过滤最佳实践 1.1.1  运行时过滤 runtime_filter_mode=GLOBAL.  运行时过滤是一种广泛的优化在CDH 5.7 / Impala 2.5及更高版本可用特性。只有当表中数据的一小部分是查询分区表或评价一个连接条件的需要， Impala 确定合适的条
Hadoop-Impala十大优化系列之（1）—分区表优化-8个方法让分区最优化
DBA技术与案例记录
12-05 4689
1.1  Hadoop-Impala十大优化系列之（1）—分区表优化-8个方法让分区最优化 impala表分区        默认情况下，表中的所有数据文件都位于一个目录中。分区是在加载过程中基于从一个或多个列的值的物理上划分数据的技术，以加快对这些列进行测试的查询。例如，一个school_records表分区在年柱，各有不同的年值一个单独的数据目录，所有这一年的数据是存储在目录中的数据文件。
sql on hadoop性能对比－hive、spark sql、impala
03-16
SQL on Hadoop是指在Hadoop生态系统中使用SQL查询和分析大数据。在这个生态系统中，有多种SQL引擎可供选择，包括Hive、Spark SQL和Impala。这些引擎在性能上有所不同。 Hive是Hadoop生态系统中最早的SQL引擎之一。它使用Hadoop MapReduce作为执行引擎，因此它的查询速度相对较慢。但是，Hive具有广泛的生态系统支持和易于使用的接口，因此它仍然是许多企业的首选。 Spark SQL是一个基于Spark的SQL引擎，它使用Spark的内存计算引擎来加速查询。相对于Hive，Spark SQL的查询速度更快，特别是在处理大型数据集时。此外，Spark SQL还支持许多高级功能，如机器学习和图形处理。 Impala是一个基于内存的SQL引擎，它专门为快速查询大型数据集而设计。Impala的查询速度比Hive和Spark SQL都要快，特别是在处理大型数据集时。但是，Impala的生态系统支持相对较少，因此它可能不适合所有企业。 总的来说，选择哪个SQL引擎取决于企业的具体需求和数据规模。如果需要广泛的生态系统支持和易于使用的接口，则Hive可能是最好的选择。如果需要快速查询大型数据集，则Impala可能是最好的选择。如果需要高级功能和快速查询速度，则Spark SQL可能是最好的选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值