impala查询语句_Impala原理及其调优

最新推荐文章于 2024-07-02 01:11:23 发布
最新推荐文章于 2024-07-02 01:11:23 发布
阅读量215 收藏
点赞数
文章标签： impala查询语句
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_30486089/article/details/112018993
版权

[localhost:21000] > show table stats store;

+-------+--------+--------+--------+

| #Rows | #Files | Size   | Format |

+-------+--------+--------+--------+

| -1    | 1      | 3.08KB | TEXT   |

+-------+--------+--------+--------+

Returned 1 row(s) in 0.03s

[localhost:21000] > show column stats store;

+--------------------+-----------+------------------+--------+----------+----------+

| Column             | Type      | #Distinct Values | #Nulls | Max Size | Avg Size |

+--------------------+-----------+------------------+--------+----------+----------+

| s_store_sk         | INT       | -1               | -1     | 4        | 4        |

| s_store_id         | STRING    | -1               | -1     | -1       | -1       |

| s_rec_start_date   | TIMESTAMP | -1               | -1     | 16       | 16       |

| s_rec_end_date     | TIMESTAMP | -1               | -1     | 16       | 16       |

| s_closed_date_sk   | INT       | -1               | -1     | 4        | 4        |

| s_store_name       | STRING    | -1               | -1     | -1       | -1       |

| s_number_employees | INT       | -1               | -1     | 4        | 4        |

| s_floor_space      | INT       | -1               | -1     | 4        | 4        |

| s_hours            | STRING    | -1               | -1     | -1       | -1       |

| s_manager          | STRING    | -1               | -1     | -1       | -1       |

| s_market_id        | INT       | -1               | -1     | 4        | 4        |

| s_geography_class  | STRING    | -1               | -1     | -1       | -1       |

| s_market_desc      | STRING    | -1               | -1     | -1       | -1       |

| s_market_manager   | STRING    | -1               | -1     | -1       | -1       |

| s_division_id      | INT       | -1               | -1     | 4        | 4        |

| s_division_name    | STRING    | -1               | -1     | -1       | -1       |

| s_company_id       | INT       | -1               | -1     | 4        | 4        |

| s_company_name     | STRING    | -1               | -1     | -1       | -1       |

| s_street_number    | STRING    | -1               | -1     | -1       | -1       |

| s_street_name      | STRING    | -1               | -1     | -1       | -1       |

| s_street_type      | STRING    | -1               | -1     | -1       | -1       |

| s_suite_number     | STRING    | -1               | -1     | -1       | -1       |

| s_city             | STRING    | -1               | -1     | -1       | -1       |

| s_county           | STRING    | -1               | -1     | -1       | -1       |

| s_state            | STRING    | -1               | -1     | -1       | -1       |

| s_zip              | STRING    | -1               | -1     | -1       | -1       |

| s_country          | STRING    | -1               | -1     | -1       | -1       |

| s_gmt_offset       | FLOAT     | -1               | -1     | 4        | 4        |

| s_tax_precentage   | FLOAT     | -1               | -1     | 4        | 4        |

+--------------------+-----------+------------------+--------+----------+----------+

Returned 29 row(s) in 0.04s

[localhost:21000] > compute stats store;

+------------------------------------------+

| summary                                  |

+------------------------------------------+

| Updated 1 partition(s) and 29 column(s). |

+------------------------------------------+

Returned 1 row(s) in 1.88s

[localhost:21000] > show table stats store;

+-------+--------+--------+--------+

| #Rows | #Files | Size   | Format |

+-------+--------+--------+--------+

| 12    | 1      | 3.08KB | TEXT   |

+-------+--------+--------+--------+

Returned 1 row(s) in 0.02s

[localhost:21000] > show column stats store;

+--------------------+-----------+------------------+--------+----------+----------------+

| Column             | Type      | #Distinct Values | #Nulls | Max Size | Avg Size          |

+--------------------+-----------+------------------+--------+----------+----------------+

| s_store_sk         | INT       | 12               | -1     | 4        | 4                 |

| s_store_id         | STRING    | 6                | -1     | 16       | 16                |

| s_rec_start_date   | TIMESTAMP | 4                | -1     | 16       | 16                |

| s_rec_end_date     | TIMESTAMP | 3                | -1     | 16       | 16                |

| s_closed_date_sk   | INT       | 3                | -1     | 4        | 4                 |

| s_store_name       | STRING    | 8                | -1     | 5        | 4.25              |

| s_number_employees | INT       | 9                | -1     | 4        | 4                 |

| s_floor_space      | INT       | 10               | -1     | 4        | 4                 |

| s_hours            | STRING    | 2                | -1     | 8        | 7.08330011367797 |

| s_manager          | STRING    | 7                | -1     | 15       | 12                |

| s_market_id        | INT       | 7                | -1     | 4        | 4                 |

| s_geography_class  | STRING    | 1                | -1     | 7        | 7                 |

| s_market_desc      | STRING    | 10               | -1     | 94       | 55.5              |

| s_market_manager   | STRING    | 7                | -1     | 16       | 14                |

| s_division_id      | INT       | 1                | -1     | 4        | 4                 |

| s_division_name    | STRING    | 1                | -1     | 7        | 7                 |

| s_company_id       | INT       | 1                | -1     | 4        | 4                 |

| s_company_name     | STRING    | 1                | -1     | 7        | 7                 |

| s_street_number    | STRING    | 9                | -1     | 3        | 2.83330011367797 |

| s_street_name      | STRING    | 12               | -1     | 11       | 6.58330011367797 |

| s_street_type      | STRING    | 8                | -1     | 9        | 4.83330011367797 |

| s_suite_number     | STRING    | 11               | -1     | 9        | 8.25              |

| s_city             | STRING    | 2                | -1     | 8        | 6.5               |

| s_county           | STRING    | 1                | -1     | 17       | 17                |

| s_state            | STRING    | 1                | -1     | 2        | 2                 |

| s_zip              | STRING    | 2                | -1     | 5        | 5                 |

| s_country          | STRING    | 1                | -1     | 13       | 13                |

| s_gmt_offset       | FLOAT     | 1                | -1     | 4        | 4                 |

| s_tax_precentage   | FLOAT     | 5                | -1     | 4        | 4                 |

+--------------------+-----------+------------------+--------+----------+----------------

Returned 29 row(s) in 0.04s

旅程1229
关注
大规模数据查询Hive及Impala技术原理及架构.pdf
09-24
大规模数据查询Hive及Impala技术原理及架构
怎么理解impala（impala工作原理是什么）
weixin_34055787的博客
02-12 816
下面给大家介绍怎么理解impala，impala工作原理是什么。 Impala是hadoop上交互式MPP SQL引擎， 也是目前性能最好的开源SQL-on-hadoop方案。 如下图所示， impala性能超过SparkSQL、 Presto、 Hive。 impala与hadoop生态结合紧密 (1) HDFS是impala最主要的数据源。 除此之外， impala也支持HBase，甚至支持...
和impala_Impala原理探索
weixin_39957461的博客
12-09 261
导读Cloudera Imapala是一款开源的MPP架构的SQL查询引擎，它提供在hadoop环境上的低延迟、高并发的BI/数据分析。本篇源自于Impala的设计论文，主要从使用的角度描述Impala的架构设计与主要组件以及一些重要特性，尤其是statestore和catalog的设计原理。1 介绍 Impala是一款开源、与Hadoop高度集成，灵活可扩展的查询分析引擎，目标是基于SQL...
Impala
yang灬仔
11-01 743
一、Impala的基本概念 1.1 什么是Impala Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 基于Hive，使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。 是CDH平台首选的PB级大数据实时查询分析引擎。 1.2 Impala的优缺点 1.2.1 优点 基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O...
Impala 1、Impala理论
03-21 108
1、Impala简介 　　• Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。　　• 基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点　　• 是CDH平台首选的PB级大数据实时查询分析引擎 　　　官网：http://www.cloudera.com/products/apache-hadoop/impala.h...
impala调优
jmx_bigdata的博客
12-07 3197
一、分区表 二、Join查询调优 优化连接查询最简单的方式是使用compute stats命令收集所有参与关联表的统计信息，让impala根据每个表的大小、列的非重复值个数等相关信息自动优化查询。 如果参与关联的表的统计信息不可用，使用impala自动的连接顺序效率很低，可以在select关键字后使用straight_join关键字手动指定连接顺序，指定了该关键字之后，impala会使用表在...
Impala： SET语句的查询选项
码客
03-09 6141
Cloudera Enterprise 6.1.x 文章目录Impala SET语句的查询选项ABORT_ON_ERROR（default FALSE）ALLOW_ERASURE_CODED_FILES（default FALSE）ALLOW_UNSUPPORTED_FORMATS （default FALSE）APPX_COUNT_DISTINCT （default FALSE）BATCH_S...
Impala JDBC 设置查询选项
昧光的专栏
05-10 1500
介绍 Impala 支持标准 JDBC 接口，允许从商业的“商业智能”工具和用 Java 或其他编程语言编写的自定义软件访问。JDBC 驱动程序使您可以从您写入的 Java 程序、商业智能或使用 JDBC 与各种数据库产品进行通信的类似工具访问 Impala。 您可以使用 SET 语句指定查询选项，这些设置会影响该会话发出的所有查询。一些查询选项在日常操作中可用于提高易用性、性能或灵活性。其他查询选项控制 Impala 操作的特殊用途方面，主要用于高级调试或故障排除。 Note: 在 Impala 2.0
Impala Join调优 - 纪第一次 Impala 语句跑不过去
yangsi_7的博客
04-23 806
项目场景： 最近入职新的公司，公司使用Impala进行查询分析，写篇简短的文章，纪念下新公司第一次查询优化分析 ~ 项目主要需求：两张表需要进行关联操作，一张维表，一张流水表，然后取关联结果供下游业务部门进行使用。关于业务方面的数据分析就不展开，主要是技术上遇到的问题解决 ~ 问题描述 假设维表为T1，流水表为T2，根据数据分析，需要通过T1的Key1或者Key2与T2的Key3关联，于是就有了想当然的以下代码~ SELECT T1.*, T2.* FROM T1 LEFT JOIN T2
impala系列：服务API--set
qq_43578218的博客
04-24 566
set语句是对impala的配置，该配置生效于当前session。 语法 SET query_option=option_value 选项 ABORT_ON_ERROR：默认为false，如果为true，当发生问题后，不论大小直接停止查询。 ALLOW_ERASURE_CODED_FILES：默认为false，为true则会清除在impala中的编码文件。 APPX_COUNT_DISTINCT：默认为false，如果为true，则查询时会将COUNT(DISTINCT)查询隐式转换为NDV()函数，结
Impala架构及其原理
Mirror_w的博客
05-04 2095
Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点也是最大卖点就是它的快速。
Impala查询执行过程
weixin_30642561的博客
07-29 605
转载于:https://www.cnblogs.com/fanweisheng/p/11263339.html
大数据技术入门：impala查询引擎
2401_84182824的博客
04-28 750
— 换一种思维逻辑去看待这个世界 👀今天是加入CSDN的第1221天。
Impala架构和工作原理
HuFeiHu
08-03 1399
原文地址：http://blog.csdn.net/niuxinzan/article/details/23998901 1. Impala架构       　　Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具（实时SQL查询引擎Impala），Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库
Impala原理与代码实例讲解
最新发布
AI天才研究院
07-02 323
Impala原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Impala, 数据仓库查询优化, 并行计算, 分布式存储系统, SQL查询处理 1. 背景介绍
分布式强化学习之IMPALA
小星AI
10-15 1375
该方法及其它的变体一直主宰MTDRL，是AlphaStar所采用的基本训练方法，这就是目标性能最佳的异步RL框架————IMPALA!
impala基础原理分析
拉丁解牛技术专栏
09-03 802
       通过impala，可以实现大数据的实时查询和统计分析，效率比hive高30倍左右,当然impala不适合批量计算，因为非常消耗内存，而hive是非常适合长时间大批量离线批量计算。是clouder的顶级项目，impala查询快的原因，比hive快：        1、它的查询计划，会被分布式查询引擎拿到数据节点上直接查询，将结果返回。        2、查询连接是直接连接到管理数据...
impala查询语句_Impala基础语法（一）
weixin_28756281的博客
12-29 1458
1.1 Impala服务组件1.1.1 Impala Deamon该进程运行于集群每个节点的守护进程，是Impala的核心组件，每个节点该进程的名称为 impalad 。> ps -ef|grep impalad负责读取数据文件；接受来自impala-shell、Hue / JDBC/ODBC的查询请求，与其他节点并行分布式工作，并将本节点的查询结果返回给中心协调者节点(建议使用JDBC/O...
IMPALA示例代码和公式解释
YHKKun的博客
04-02 445
它旨在克服传统强化学习算法在分布式计算环境下效率低下的问题，通过利用多个Actor并行地生成样本轨迹，并将这些轨迹汇总到一个中央的Learner进行学习和更新。IMPALA通过利用分布式计算资源和重要性加权的概念，有效地解决了大规模并行化训练强化学习模型时面临的挑战，提高了训练效率和性能。：由于并行生成的样本可能具有不同的重要性，IMPALA使用重要性加权的方法来确保对不同样本的梯度更新进行适当的加权，以确保训练的稳定性和效率。这有助于提高学习的效率和稳定性。
Impala大数据查询引擎架构解析
"这篇文章除了探讨大数据查询引擎Impala的架构设计，还涵盖了服务器的三种主要体系：SMP（对称多处理器结构）、NUMA（非一致存储访问结构）和MPP（海量并行处理结构）。文章首先介绍了Impala作为开源数据库系统，其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值