Impala

Impala 是由 Cloudera 开发的开源分布式 SQL 查询引擎，主要用于大规模数据的分析处理。它的设计初衷是为了快速处理存储在 Hadoop 文件系统（HDFS）或 Apache HBase 中的海量数据，通过提供类 SQL 的查询方式，简化了大数据分析的操作流程。

以下是 Impala 的一些关键特性：

1. 高性能 SQL 查询

• Impala 提供了接近实时的 SQL 查询性能，能够快速处理 PB 级别的大数据，适合用于数据分析和商业智能（BI）应用。
• 相较于传统的 MapReduce 计算框架，Impala 的查询速度更快，因为它采用了内存计算，并且避免了 MapReduce 任务的开销。

2. 与 Hadoop 生态系统集成

• Impala 与 Apache Hadoop 紧密集成，支持存储在 HDFS 或者 Apache HBase 中的数据，并且可以使用 Hive 的元数据（Hive Metastore），与 Hive 共享表定义。你可以使用 Impala 直接查询存储在 HDFS 或 HBase 中的文件，而无需将数据移动到其他地方。

3. 支持多种数据格式

• Impala 支持多种数据格式，包括 Parquet、Avro、Text、RCFile、SequenceFile 和 ORC 等。这使得用户可以根据需求选择最佳的存储格式以获得最佳的性能。

4. 分布式架构

• Impala 采用分布式架构，查询会分布到各个节点进行计算，这使得它能够充分利用集群资源，提升查询效率。每个 Impala 节点都有自己的查询执行引擎，它们之间通过一个协调节点进行数据的调度和合并。

5. 内存计算

• Impala 依赖于内存中的数据处理，而非像 MapReduce 那样将中间结果存储在磁盘上。因此，它可以在大多数场景下提供更低的延迟和更快的查询性能。

6. SQL 兼容性

• Impala 支持 ANSI SQL-92 标准的大部分查询功能，包括复杂的 JOIN 操作、子查询、窗口函数等。因此，用户可以利用熟悉的 SQL 语法对大规模数据进行分析。

7. 与 BI 工具集成

• Impala 支持通过 ODBC、JDBC 等接口与传统的 BI 工具集成，用户可以使用常见的 BI 平台（如 Tableau、Qlik、Power BI 等）直接连接到 Impala 执行查询和数据可视化。

8. 与其他分析引擎对比

• Hive vs Impala：Impala 的实时查询能力要远远优于 Hive，Hive 主要适用于批量处理，而 Impala 适合快速查询。Hive 使用 MapReduce，适合长时间运行的批量作业，Impala 适用于低延迟的交互式查询。
• Presto vs Impala：Presto 和 Impala 都是为大规模数据查询设计的引擎，但 Presto 支持更多的数据源，能够同时查询多种数据存储。而 Impala 则专注于查询 Hadoop 上的数据，优化了对 HDFS 和 HBase 的支持。

使用场景

• 大规模数据分析：Impala 适合处理存储在 Hadoop 生态中的海量数据，并为分析师提供快速的 SQL 查询能力。
• 商业智能（BI）：与 BI 工具集成，可以快速生成商业报告和仪表盘。
• 实时数据查询：对于需要实时分析大数据的场景，Impala 是非常适合的解决方案。