Apache Kyuubi 项目教程
kyuubi-websiteApache Kyuubi Site项目地址:https://gitcode.com/gh_mirrors/ky/kyuubi-website
项目介绍
Apache Kyuubi 是一个高级的企业级快速分析平台,专为在大数据上进行交互式可视化分析而设计。它基于现代计算框架,如 Apache Spark、Apache Flink 和 Trino 等,通过 JDBC/ODBC 接口,用户可以高效地通过 SQL 直接访问 Kyuubi 并运行查询。Kyuubi 在用户级别缓存后台引擎实例,以实现更好的计算资源共享和快速响应。
项目快速启动
以下是一个简单的快速启动指南,帮助你快速部署和运行 Kyuubi。
环境准备
- Java 8 或更高版本
- Apache Spark 3.x
- 一个支持的 Hadoop 环境
下载与安装
-
克隆项目仓库:
git clone https://github.com/apache/kyuubi-website.git cd kyuubi-website
-
构建项目:
./build/mvn clean package -DskipTests
-
启动 Kyuubi 服务:
bin/kyuubi start
连接与使用
使用 JDBC 连接到 Kyuubi 服务并执行 SQL 查询:
String url = "jdbc:kyuubi://localhost:10009/default;";
Connection conn = DriverManager.getConnection(url);
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("SELECT * FROM your_table");
while (rs.next()) {
System.out.println(rs.getString(1));
}
应用案例和最佳实践
交互式分析
Kyuubi 适用于需要快速响应的交互式分析场景。例如,数据分析师可以使用 Kyuubi 连接到大数据平台,通过 SQL 查询实时获取数据洞察。
批处理
Kyuubi 提供了 SQL 接口,适用于批处理任务,如大型 ETL 过程。Kyuubi 和其引擎的存储独立性使其能够与多种数据源协同工作,确保计算资源的隔离和稳定性。
数据湖与湖仓
Kyuubi 支持查询传统数据仓库(如 Apache Hive/HDFS)和现代湖仓(如 Apache Iceberg、Apache Hudi 和 Delta Lake)。Kyuubi 还提供了多目录元 API,为用户提供了一个集中的数据视图。
典型生态项目
Kyuubi 的生态系统包括多个项目,这些项目有的已经实现,有的正在开发中。以下是一些关键的生态项目:
- Apache Spark:Kyuubi 的核心计算引擎,提供强大的数据处理能力。
- Apache Flink:支持流处理和批处理,扩展了 Kyuubi 的应用场景。
- Trino:一个高性能的分布式 SQL 查询引擎,与 Kyuubi 集成,提供更快的查询性能。
这些项目共同构成了 Kyuubi 的强大生态系统,使其能够支持多种工作负载和数据处理需求。
kyuubi-websiteApache Kyuubi Site项目地址:https://gitcode.com/gh_mirrors/ky/kyuubi-website