Impala快速入门——Impala的组件和架构介绍

最新推荐文章于 2024-10-02 08:48:40 发布

大数据技术与数仓

最新推荐文章于 2024-10-02 08:48:40 发布

阅读量1.6k

点赞数 2

分类专栏： impala 文章标签： impala

本文链接：https://blog.csdn.net/jmx_bigdata/article/details/88088567

版权

本文介绍了Impala，一个由Cloudera开发的快速查询系统，用于交互式SQL查询HDFS、HBase和S3上的数据。相比Hive，Impala提供了更高的性能，尤其适合实时查询。Impala的架构包括Impala Daemon、Statestore和Catalog Service，它们协同工作以提供高效的查询处理。此外，文章还对比了Impala和Hive的相同点和不同点，强调了Impala在实时分析和分布式查询中的优势。

摘要由CSDN通过智能技术生成

2.3Impala Catalog Service

一、概述

1.1简介

Impala是由Cloudera公司开发的新型查询系统，能够对存储在HDFS、HBase以及S3上的数据进行快速的交互式SQL查询。另外，impala与Hive使用了统一的存储系统、同样的元数据库、SQL语法(Hive SQL)、ODBC驱动和用户交互接口(Hue)，Impala对实时的或者面向批处理的查询提供了一个统一的平台，Impala在性能上比Hive高出3~30倍。

Impala是用于查询大数据的工具的补充，Impala不是取代构建在MapReduce之上的批处理框架，比如Hive。Hive和其他的基于MapReduce的框架适合处理长时间运行的批处理作业，比如涉及到批处理的ETL类型的作业。

注意：Impala于2017年11月15日从Apache的孵化器毕业。

1.2优势

(1)使用的是数据科学家和分析师熟悉的SQL接口
(2)能查询大数据集
(3)是集群环境中的分布式查询，便于扩展和使用廉价商用硬件

(4)能够在不同的分析引擎之前共享数据，比如可以通过pig写数据，使用Hive转换数据，再使用impala查询数据。impala能够读写hive中的表，使用impala对Hive生成的数据进行分析，实现简单的数据交换。

(5)单一系统用于大数据处理和分析，因此可以避免成本高昂的建模和ETL.

1.3主要特点

(1)支持Hive查询语言（HiveQL）最常见的SQL-92功能，包括 SELECT, JOIN和聚合函数
(2)支持HDFS, HBase和S3存储, 包括:
• HDFS 文件格式: delimited text files, Parquet, Avro, SequenceFile,和 RCFile.
• 压缩: Snappy, GZIP, Deflate, BZIP.
(3)常见的数据访问接口，包括JDBC driver、ODBC driver
(4)支持impala-shell命令行接口
(5)Kerberos授权