impala的介绍

最新推荐文章于 2023-06-22 21:10:37 发布

Hxm6440

最新推荐文章于 2023-06-22 21:10:37 发布

阅读量854

点赞数

分类专栏：大数据辅助组件

本文链接：https://blog.csdn.net/Hxm6440/article/details/103485948

版权

Impala是由Cloudera提供的高效SQL查询工具，性能比Hive快10到100倍，适用于实时交互式查询。它基于Hive，使用内存计算，与Hive有相似的SQL语法，但不依赖MapReduce，而是采用执行计划树模式，通过拉式数据流减少中间结果的磁盘I/O。Impala包括Impalad、State Store、Catalogd和CLI等组件，适合实时数据分析，与Hive结合使用，可以实现大数据的快速查询和分析。

摘要由CSDN通过智能技术生成

impala的基本介绍

impala是 cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具。

impala是基于hive并使用内存进行计算，兼顾数据仓库，具有实时，批处理，多并发等优点。

impala与hive的关系

impala是基于hive的大数据分析查询引擎，直接使用hive的源数据库metadata，意味着impala元数据都存储在hive的metastore当中，并且impala兼容hive的绝大多数sql语法。所以安装impala，先安装hive，并且要启动hive的metastore服务。

hive元数据包含hive创建的database、table等元信息。元数存储在关系型数据库中，如Derby、MySQL等。

客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。
在这里插入图片描述
Hive适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询。可以先使用hive进行数据转换处理，之后使用Impala在Hive处理后的结果数据集上进行快速的数据分析。

impala与hive的异同

impala与hive都是建构在Hadoop之上的数据查询工具各有不同的侧重适用面，但从客户端使用来看impala和hive有很多共同之处，如数据表元数据、ODBC/JDBC驱动、SQL语法、灵活的文件格式、存储资源池等。
但是impala与hive最大的区别是：没有使用MapReduce进行并行计算。impala把整个查询分成执行计划树，而不是一连串的MapRed