Apache Calcite初体验:分别查询MySQL与Postgresql数据库

本文链接：https://blog.csdn.net/erpao520/article/details/123217487

一、Calcite介绍？

Apache Calcite 是一个开源的动态数据管理框架，它提供了强大的 SQL 解析、查询优化和数据集成的能力。

SQL 解析和验证：Calcite 提供了完整的 SQL 解析器，能够解析标准 SQL 查询和 DDL（数据定义语言）语句。它支持 ANSI SQL 标准，并且可以扩展支持不同的 SQL 方言和特性。
查询优化：Calcite 提供了强大的查询优化器，能够根据查询的结构和数据统计信息生成优化的执行计划。优化器能够执行多种优化，例如谓词下推、列裁剪、联接重排序等，以提升查询性能。
动态数据集成：Calcite 允许用户在不同的数据源之间进行无缝集成和查询。它支持多种数据源，包括关系型数据库（如 MySQL、PostgreSQL、Oracle 等）、NoSQL 数据库（如 MongoDB）、CSV 文件、JSON 数据等。用户可以定义数据源的逻辑模型，并使用 SQL 查询统一访问这些数据源。
扩展性和定制性：Calcite 提供了灵活的扩展机制，允许开发人员编写自定义的查询优化规则、自定义函数、自定义数据源适配器等。这使得 Calcite 可以根据不同的应用场景和需求进行定制和扩展。
多种接入方式：Calcite 提供了多种接入方式，可以作为独立的 JDBC 驱动程序嵌入到 Java 应用程序中，也可以作为服务端组件运行，并通过 HTTP 或者自定义协议提供数据访问服务。
广泛应用：Calcite 在 Apache 的多个顶级项目中得到了广泛的应用，例如 Apache Hive、Apache Flink 等。它为这些项目提供了 SQL 接口和查询优化能力，使得这些项目能够以标准的 SQL 查询方式处理和优化数据。

应用场景：

数据仓库和数据湖：Calcite 可以用作数据仓库和数据湖的查询引擎，支持跨多种数据源进行复杂的数据分析和报表查询。
实时数据处理：Calcite 可以与实时流处理框架（如 Apache Flink、Apache Kafka）集成，提供实时 SQL 查询能力。
数据集成：Calcite 可以用于将不同数据源的数据整合和查询，使得应用程序可以通过统一的 SQL 接口访问和处理多种数据。

二、使用步骤

1.引入Maven依赖

        <dependency>
            <groupId>org.apache.calcite</groupId>
            <artifactId>calcite-core</artifactId>
            <version>1.19.0</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.23</version>
        </dependency>
        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.24</version>
        </dependency>

2.代码

import org.apache.calcite.adapter.jdbc.JdbcSchema;
import org.apache.calcite.jdbc.CalciteConnection;
import org.apache.calcite.schema.SchemaPlus;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;
import java.util.Properties;

public class MySQLCalcite {

    public static void main(String[] args) throws Exception {
        // MySQL数据库连接信息
        String url = "jdbc:mysql://localhost:3306/test";
        String username = "root"; // MySQL用户名
        String password = "123456"; // MySQL密码
        String driverClassName = "com.mysql.cj.jdbc.Driver";
        // 注册MySQL驱动
        Class.forName(driverClassName);

        // 使用Calcite连接MySQL数据库
        Properties info = new Properties();
        info.setProperty("lex", "JAVA");
        Connection connection = DriverManager.getConnection("jdbc:calcite:", info);
        CalciteConnection calciteConnection = connection.unwrap(CalciteConnection.class);

        // 创建SchemaPlus对象，添加MySQL的JDBC模式
        SchemaPlus rootSchema = calciteConnection.getRootSchema();
        JdbcSchema jdbcSchema = JdbcSchema.create(rootSchema, "testMysql", JdbcSchema.dataSource(url, driverClassName, username, password),
                null, null);
        rootSchema.add("testMysql", jdbcSchema);

        // 执行查询
        Statement stmt = calciteConnection.createStatement();
        ResultSet rs = stmt.executeQuery("SELECT * FROM testMysql.a_stu");

        // 处理查询结果
        while (rs.next()) {
            int id = rs.getInt("id");
            String name = rs.getString("a_name");
            System.out.println("ID: " + id + ", Name: " + name);
        }

        // 关闭资源
        rs.close();
        stmt.close();
        connection.close();
    }
}

public class PostgreSQLCalcite {

    public static void main(String[] args) throws Exception {
        // PostgreSQL 数据库连接信息
        String url = "jdbc:postgresql://localhost:5432/test";
        String username = "postgres";
        String password = "123456";
        String driverClassName = "org.postgresql.Driver";
        // 注册 PostgreSQL 驱动
        Class.forName(driverClassName);

        // 使用 Calcite 连接 PostgreSQL 数据库
        Properties info = new Properties();
        info.setProperty("lex", "JAVA");
        Connection connection = DriverManager.getConnection("jdbc:calcite:", info);
        CalciteConnection calciteConnection = connection.unwrap(CalciteConnection.class);

        // 创建 SchemaPlus 对象，添加 PostgreSQL 的 JdbcSchema
        SchemaPlus rootSchema = calciteConnection.getRootSchema();
        JdbcSchema jdbcSchema = JdbcSchema.create(rootSchema, "testPostgreSQL", JdbcSchema.dataSource(url, driverClassName, username, password),
                null, null);
        rootSchema.add("testPostgreSQL", jdbcSchema);

        // 执行查询
        Statement stmt = calciteConnection.createStatement();
        ResultSet rs = stmt.executeQuery("SELECT * FROM testPostgreSQL.aa_a_class");

        // 处理查询结果
        while (rs.next()) {
            int id = rs.getInt("id");
            String name = rs.getString("class_name");
            System.out.println("ID: " + id + ", Name: " + name);
        }

        // 关闭资源
        rs.close();
        stmt.close();
        connection.close();
    }
}