基于Calcite自定义SQL解析器

最新推荐文章于 2024-04-23 18:52:22 发布
最新推荐文章于 2024-04-23 18:52:22 发布
阅读量1.5k 收藏 6
点赞数
分类专栏： java 文章标签： maven java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38381496/article/details/117418643
版权

最近项目组要求写个SQL脚本相关的解析工具能自定义校验规则，开始一直研究基于C#的Irony框架学习;由于本人基础薄弱，网上这个框架的资源不是很多。最终放弃改使用Apache Calcite框架。借用了网上的一些资源和博客，终于把自定义规则的demo弄好了。现把学习过程和其中出现的问题整理如下，希望能帮到也想学习Calcite新伙伴。

  • 1>下载IDE并配置maven环境

    我的demo基于eclipse开发的，其它IDE环境可自行钻研学习
    1.1、maven下载
    http://maven.apache.org/download.cgi
    在这里插入图片描述
    1.2、解压下载的压缩包并配置maven中的settings.xml
    在这里插入图片描述
    部分配置说明

    D:\JAVA\MavenJar
    设置本地仓库地址和阿里云仓库地址
    在这里插入图片描述
    在这里插入图片描述
    1.3、eclipse中配置maven环境
    Window–》Preferences–》Maven–》User Settings
    在这里插入图片描述

  • 2>下载calcite源码包
    下载地址：https://gitee.com/Bomy/calcite
    2.1：将code\src\main\codegen下所有文件复制到自己的代码路径下
    在这里插入图片描述在这里插入图片描述

  • 3>打开eclipse创建Maven项目
    3.1、项目创建在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    3.2、复制calcite源码中code\src\main\codegend 中的所有代码到main文件夹下，复制完成之后刷新下项目
    在这里插入图片描述
    3.3、构建maven工程，这里注意，需要将编译插件配置好，主要包括freemarker和javacc，下面是我的pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>cn.wupeng</groupId>
  <artifactId>FirstCalciteProject</artifactId>
  <version>0.0.1-SNAPSHOT</version>
   <dependencies>
        <dependency>
            <groupId>org.apache.calcite</groupId>
            <artifactId>calcite-core</artifactId>
            <version>1.19.0</version>
            <!--<version>1.11.0</version>-->
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.4</version>
        </dependency>
    </dependencies>
  
    <build>
    <plugins>
       <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>javacc-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <id>javacc</id>
                        <goals>
                            <goal>javacc</goal>
                        </goals>
                        <configuration>
                            <sourceDirectory>${project.build.directory}/generated-sources/fmpp</sourceDirectory>
                            <includes>
                                <include>**/Parser.jj</include>
                            </includes>
                            <lookAhead>2</lookAhead>
                            <isStatic>false</isStatic>
                        </configuration>
                    </execution>
                    <execution>
                        <id>javacc-test</id>
                        <phase>generate-test-sources</phase>
                        <goals>
                            <goal>javacc</goal>
                        </goals>
                        <configuration>
                            <sourceDirectory>${project.build.directory}/generated-test-sources/fmpp</sourceDirectory>
                            <outputDirectory>${project.build.directory}/generated-test-sources/javacc</outputDirectory>
                            <includes>
                                <include>**/Parser.jj</include>
                            </includes>
                            <lookAhead>2</lookAhead>
                            <isStatic>false</isStatic>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

            <plugin>
                <groupId>org.apache.drill.tools</groupId>
                <artifactId>drill-fmpp-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <configuration>
                            <config>src/main/codegen/config.fmpp</config>
                            <output>${project.build.directory}/generated-sources/fmpp</output>
                            <templates>src/main/codegen/templates</templates>
                        </configuration>
                        <id>generate-fmpp-sources</id>
                        <phase>validate</phase>
                        <goals>
                            <goal>generate</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
       
       </plugins>
</build>
</project>

pom.xml中如果execution报错请按照下面方法处理
在这里插入图片描述
Window–》Preferences–》Maven–》Errors/Warnings
在这里插入图片描述
3.4、创建sql解析类SqlWuPeng ，包路径org.apache.calcite.sql

package org.apache.calcite.sql;
import org.apache.calcite.sql.parser.SqlParserPos;
import org.apache.calcite.sql.util.SqlVisitor;
import org.apache.calcite.sql.validate.SqlValidator;
import org.apache.calcite.sql.validate.SqlValidatorScope;
import org.apache.calcite.util.Litmus;
public class SqlWuPeng extends SqlNode {
    private String jackyString;
    private SqlParserPos pos;
    public  SqlWuPeng(SqlParserPos pos, String jackyString){
        super(pos);
        this.pos = pos;
        this.jackyString = jackyString;
    }

    public String getJackyString(){
        System.out.println("getJackyString");
        return this.jackyString;
    }

    @Override
    public SqlNode clone(SqlParserPos sqlParserPos) {
        System.out.println("clone");
        return null;
    }

    @Override
    public void unparse(SqlWriter sqlWriter, int i, int i1) {
        sqlWriter.keyword("hello");
        sqlWriter.keyword("calcite");
        sqlWriter.print("\n");
        sqlWriter.keyword("" + jackyString + "");
    }

    @Override
    public void validate(SqlValidator sqlValidator, SqlValidatorScope sqlValidatorScope) {
        System.out.println("validate");
    }

    @Override
    public <R> R accept(SqlVisitor<R> sqlVisitor) {
        System.out.println("accept");
        return null;
    }

    @Override
    public boolean equalsDeep(SqlNode sqlNode, Litmus litmus) {
        System.out.println("equalsDeep");
        return false;
    }
}

3.5、修改config.fmpp文件
找到 package: “org.apache.calcite.sql.parser.impl” 修改下面的class为:WPSqlParserImpl
在这里插入图片描述

3.6、修改Parser.jj文件
3.6.1-> 添加解析类引用
在这里插入图片描述
3.6.2> 添加解析逻辑
在这里插入图片描述

/**
*自定义解析解析逻辑
**/
SqlNode SqlJacky() :
{
     SqlNode stringNode;
}
{
    <hello> <calcite>
    stringNode = StringLiteral()
    {
        return new SqlJacky(getPos(), token.image);
    }
}

3.6.3> 找到SqlNode SqlStmt() 添加自定义解析逻辑
在这里插入图片描述

3.6.4>设置关键字
在这里插入图片描述

3.6.5>编译maven项目
在这里插入图片描述
编译后项目目录
在这里插入图片描述

3.6.6>创建测试类WupengParser

package wupeng.test;
import org.apache.calcite.avatica.util.Casing;
import org.apache.calcite.avatica.util.Quoting;
import org.apache.calcite.schema.SchemaPlus;
import org.apache.calcite.sql.SqlNode;
import org.apache.calcite.sql.parser.SqlParser;
import org.apache.calcite.tools.FrameworkConfig;
import org.apache.calcite.tools.Frameworks;
public class WupengParser {
    public static void main(String[] args) {
        SchemaPlus rootSchema = Frameworks.createRootSchema(true);
        final FrameworkConfig config = Frameworks.newConfigBuilder()
                .parserConfig(SqlParser.configBuilder()
                        //.setLex(Lex.ORACLE)
                        .setParserFactory(WPSqlParserImpl.FACTORY)
                        .setCaseSensitive(false)
                        .setQuoting(Quoting.BACK_TICK)
                        .setQuotedCasing(Casing.TO_UPPER)
                        .setUnquotedCasing(Casing.TO_UPPER)
                        //.setConformance(SqlConformanceEnum.ORACLE_12)
                        .build())
                .build();
//        "jacky 'select ids, name from test where id < 5'";
        String sql = "hello  calcite  'select ids, name from test where id < 5'";
        SqlParser parser = SqlParser.create(sql, config.getParserConfig());
        try {
            SqlNode sqlNode = parser.parseStmt();
            System.out.println(sqlNode.toString());
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
}

引用自定义解析类报错问题处理
在这里插入图片描述
右键点击工程 – Properties – Java Build Path --Source – Link Source然后从target下找到javacc目录添加即可
在这里插入图片描述

在这里插入图片描述
3.6.7>执行测试类WupengParser
在这里插入图片描述

鸣谢：这个demo主要参考了 余启大神 的代码，受益匪浅。

参考连接：

https://blog.csdn.net/ccllcaochong1/article/details/93367343

https://github.com/yuqi1129/calcite-test

https://github.com/quxiucheng/apache-calcite-tutorial/tree/a7d63273d0c7585fc65ad250c99a67a201bcb8b5

https://dafei1288.blog.csdn.net/article/details/102735371?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control

IT奶爸@兔子
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
node-sql-parser:使用访问的tableList将简单SQL语句解析为抽象语法树（AST），并将其转换回SQL
04-28
Nodejs SQL解析器 使用访问的tableList，columnList将简单SQL语句解析为抽象语法树（AST），然后将其转换回SQL。 :star: 特征 支持用分号分隔的多个sql语句 支持选择，删除，更新和插入类型 支持放置，截断和重命名命令 输出具有相应权限的sql访问的表和列列表 支持各种数据库引擎 :party_popper: 安装 来自npmjs npm install node-sql-parser --save or yarn add node-sql-parser 从GitHub包注册表 npm install @taozhi8833998/node-sql-parser --registry=https://npm.pkg.github.com/ 从浏览器 将JS文件导入您的页面中： // support all database parser, but file size is
Apache Drill源码分析和编译
mark's technic world
02-16 4877
此前了解过Apache Drill的设计原理，借鉴与Google的Dremel的一个开源实现；而cloudera貌似在此基础上构造了impala. 最近从apache官网上看到Drill源码可以下载了，分析一下。 http://www.apache.org/dyn/closer.cgi/incubator/drill/drill-1.0.0-m1-incubating/ 代码结构
drill apache_大数据SQL：Apache Drill查询执行功能概述–白板演练
danpu0978的博客
05-21 308
drill apache 在本周的白板演练中，MapR Technologies产品管理高级总监Neeraja Rentachintala概述了开源Apache Drill如何在大型数据集上实现交互式SQL查询的低延迟。 使用Drill，您可以使用熟悉的ANSI SQL BI工具，例如Tableau或MicroStrategy，还可以直接在大数据上进行探索。 对于其他材料： Apa...
记录calcite入门本地的部署化及使用（一）
爱丫爱的博客
01-31 449
calcite简单入门本地的部署化、使用及避免的坑
node-sqlparser
05-13
节点sqlparser ====== node-sqlparser，用javascript编写 安装 NodeJS版本0.8.0+ npm install node-sqlparser 介绍 对于测试，请键入以下命令： make test 用法 静态功能 var sql = 'select * from tablea where field1 = 0' ; var parse = require ( 'node-sqlparser' ) . parse ; var stringify = require ( 'node-sqlparser' ) . stringify ; var astObj = parse ( sql ) ; var sqlstr = stringify ( astObj ) ; 使用ast var AST = require('node-sqlparser
SQL解析调研
lonelymanontheway的博客
10-24 1159
概述； 调研； 实现：多条select语句取最后一条；取查询字段；
rhombic:Calcite SQL的解析器和帮助器
05-23
解析器和帮助器该项目的目标是从SQL语句生成AST，以提供一种分析和处理任何查询的简单方法。入门npm install rhombic import rhombic from "rhombic" ;try { const query = rhombic . parse ( "SELECT * FROM abc;" ...
Calcite中的流式SQL
12-15
Calcite中的流式SQL总体设计思路 　总体语法应该兼容SQL，这个是和目前流处理SQL的发展趋势是一致的。 　如果部分功能标准SQL中没有包含，则尽量采用 业界标杆（Oracle） 。比如模式匹配的功能，目前流处理中还...
sql-parser:解析 mysql create table 语句，用于通过建表语句生成 model 代码文件
04-30
sql-parser 解析 mysql create table 语句，用于通过建表语句生成 model 代码文件。 yarn install yarn dev 或 npm i npm run dev // 构建支持浏览器环境的代码文件，浏览器端直接引用构建出来的 browser/sql-parser.min.js 文件即可，browser/demo.html 为调用示例 yarn browser 或 npm run browser 解析结果如下： [ { "type": "create_table", "name": "tbl1", "columns": [ { "type": "column", "name": "id",
Apache Calcite
04-25
Apache Calcite使用实践，基于Apache Calcite的SQL解析引擎
calcite-learning:学习方解石sql解析
05-14
方解石学习 学习方解石sql解析
calcite文档 sql优化
02-10
calcite文档 sql calcite文档 sql calcite文档 sql calcite文档 sql
JavaWeb开发06-原理-Spring配置优先级-Bean管理-SpringBoot原理-Maven继承和聚合-私服
qq_52439738的博客
04-22 1106
Mybatis是操作数据库的，Spring Boot来简化Spring开发的SpringMVC是Spring framework web开发的一部分，是来简化原始servlet程序的基于传统SSM开发是比较繁琐的，效率比较低你上传的pom中的<version>指定了版本，会上传到不同仓库1,3得在maven文件中的settings.xml修改上传是maven生命周期中的deploy。下载直接在另外工程中pom中引入需要的依赖。
【web开发02】后端开发Maven
xzrrr的博客
04-19 760
Maven本质是项目管理的工具，是用java写出来的，以面向对象的形式设计，它把一个项目看成一个对象，这个对象叫作POM（project object model）1.groupld:定义当前Maven项目隶属组织名称(通常是域名反写，例如:org.mybatis)Maven的生命周期就是为了对所有的maven项目构建过程进行抽象和统一。依赖:指当前项目运行所需要的jar包，一个项目中可以引入多个依赖。package:将编译后的文件打包，如:jar、war等。3.项目构建：标准跨平台的自动化项目构建方式。
mybatisPlus使用MetaObjectHandler对字段进行更新
最新发布
m0_56356631的博客
04-23 221
都是符合我们的预期的。
string模拟实现
m0_73969414的博客
04-23 1333
c++中string的模拟实现，面试必会知识点
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 471
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
怎么使用基于gradle的calcite的sql测试库
05-11
使用基于Gradle的Calcite的SQL测试库，您需要按照以下步骤进行操作： 1. 在您的Gradle项目中添加以下依赖项： ``` dependencies { testCompile group: 'org.apache.calcite', name: 'calcite-core', version: '...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值