Apache Calcite教程-SQL解析-JavaCC教程

最新推荐文章于 2024-05-19 17:11:42 发布
最新推荐文章于 2024-05-19 17:11:42 发布
阅读量3.9k 收藏 6
点赞数 1
分类专栏： calcite
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QXC1281/article/details/89405468
版权

Github

JavaCC

使用递归下降语法解析，LL(k)。
其中，第一个L表示从左到右扫描输入；
第二个L表示每次都进行最左推导(在推导语法树的过程中每次都替换句型中最左的非终结符为终结符。类似还有最右推导)；
k表示的是每次向前探索(lookahead)k个终结符

官网

语法文件

语法描述文件

options {
    JavaCC的选项
}

PARSER_BEGIN(解析器类名)
package 包名;
import 库名;

public class 解析器类名 {
    任意的Java代码
}
PARSER_END(解析器类名)

扫描器的描述

解析器的描述

JavaCC类介绍

SimpleCharStream

词法分析器的输入流

    // 构造函数种类 ,可以接受Reader和InputStream
public class SimpleCharStream {

   public SimpleCharStream(java.io.Reader dstream, int startline, 
       int startcolumn, int buffersize);
   
   public SimpleCharStream(java.io.Reader dstream, 
       int startline, int startcolumn);
   
   public SimpleCharStream(java.io.Reader dstream);
   
   public SimpleCharStream(java.io.InputStream dstream, String encoding, int startline,
     int startcolumn, int buffersize) throws java.io.UnsupportedEncodingException;
     
   public SimpleCharStream(java.io.InputStream dstream, int startline,
        int startcolumn, int buffersize);
   
   public SimpleCharStream(java.io.InputStream dstream, String encoding, int startline,
        int startcolumn) throws java.io.UnsupportedEncodingException;
                         
   public SimpleCharStream(java.io.InputStream dstream, int startline,
                         int startcolumn);
   
   public SimpleCharStream(java.io.InputStream dstream, String encoding) throws java.io.UnsupportedEncodingException;

   public SimpleCharStream(java.io.InputStream dstream);
}

XXXXXConstants

Token常量,SKIP TOKEN 和TOKEN

// 忽律的字符
SKIP:{
    " "
}


// 关键字
TOKEN:{
    <PLUS :"+">
}

// 和常量申明对应
public interface XXXXXConstants {
    
  int EOF = 0;
  int PLUS = 2;

  int DEFAULT = 0;

  String[] tokenImage = {
    // EOF 文件结尾
    "<EOF>",
    // 忽律字符串
    "\" \"",
    // PLUSA
    "\"+\"",
  };

}

XXXXXTokenManager

词法分析器

// 常见方法说明
public class XXXXXTokenManager implements XXXXXConstants {
    
    // 输入流
    protected SimpleCharStream input_stream;
    
    // 构造函数
    public XXXXXTokenManager(SimpleCharStream stream);
    
    // 获取下一个Token
    public Token getNextToken();
}

Token

Token类

public class Token {

  // Constants.java的种类
  public int kind;

  // 开始行和开始列,结束行和结束列
  public int beginLine, beginColumn, endLine, endColumn;

  // token的字符串
  public String image;

  // 下一个token
  public Token next;

  // 特殊令牌
  public Token specialToken;

  // Returns the image.
  public String toString()
  {
     return image;
  }


}

XXXXX

解析类入口

ParseException

语法解析异常

TokenMgrError

语法错误提示

常见配置 options

JavaCC工作原理

如图:
在这里插入图片描述

语法二义性解决

void S():{}
{
    IFStat()
    |
    E();
}
void IFStat():{}
{
    "if" "(" E() ")"
    S()
    (
        "else" S();
    )?
}


if E if E S else S

存在两种解释

if E
   if E
     S
   else
     S   

if E
   if E
     S
else
   S

可以借助LOOKAHEAD(K)关键字解决

// 词法分析执行完if-S之后先找slse,找到则匹配最近的if,否则执行后面的语句
void S():{}
{
    IFStat()
    |
    E();
}
void IFStat():{}
{
    "if" "(" E() ")"
    S()
    (
        LOOKAHEAD(1)
        "else" S();
    )?
}

JavaCC语法

Java代码

java代码块用{}声明

// 定义java代码块
void javaCodeDemo():
{}
{
    {
        int i = 0;
        System.out.println(i);
    }
}

JAVA函数

需要用 JAVACODE声明

JAVACODE void print(Token t){
    System.out.println(t);
}

条件

  • if语句
// if语句
void ifExpr():
{}
{
    [
        <SELECT>
        {
            System.out.println("if select");
        }
    ]

    // 循环，出现一次
    (<SELECT>)?
}
  • if else语句
// if - else
void ifElseExpr():
{}
{
    (
        <SELECT> {System.out.println("if else select");}
        |
        <UPDATE>  {System.out.println("if else update");}
        |
        <DELETE>  {System.out.println("if else delete");}
        |
        {
           System.out.println("other");
        }
    )
}

循环

  • while 0~n
// while 0~n
void while1Expr():{
}
{
    (<SELECT>)*
}
  • while 1~n
// while 1~n
void while2Expr():{
}
{
    (<SELECT>)+
}

正则表达式

  1. []: 内容可选
  2. +: 内容出现一次或者多次
  3. *: 内容出现0次或者多次
  4. ?: 内容出现0次或者一次
  5. |: 或
  6. (): 优先级改变或者整体操作

其他说明

如果字符列表以“〜”符号为前缀，则它表示的字符集是不在指定集中的任何UNICODE字符。

代码示例

Maven编译

mvn javacc:javacc

简单计算器

PARSER_BEGIN(Calculator)
package com.github.quxiucheng.parser.javacc.calc;

import java.io.* ;

public class Calculator {

    public Calculator(String expr) {
        this((Reader)(new StringReader(expr)));
    }

    public static void main(String[] args) throws Exception  {
       Calculator calc = new Calculator(args[0]);
       System.out.println(calc.calc());
    }
}

PARSER_END(Calculator)



// 忽律的字符
SKIP:{
    " "
    | "\t"
    | "\n"
    | "\r"
    | "\r\n"
}


// 关键字
TOKEN:{
    <ADD :"+">
    | <SUB :"-">
    | <MUL :"*">
    | <DIV :"/">
    | <NUMBER :
            <DIGITS>
            | <DIGITS> "." <DIGITS>
            | <DIGITS> "."
            | "." <DIGITS>
      >
    | <#DIGITS : (["0"-"9"])+ >
}

// 计算
double calc():
{
    Double value ;
    Double result = 0.0;
}
{
  result = term()
  // 加减
  (
      <ADD>
      value = term()
      {result += value;}
      |
      <SUB>
      value =term()
      {result -= value;}
  )*
  {return result;}
}

// 乘除
double term():
{
    double value;
    double result;
}
{
    result = getNumber()
    (
       <MUL>
        value = getNumber()
        {result *= value;}
       |
       <DIV>
       value = getNumber()
       {result /= value;}
    )*
    {return result;}

}

// 获取字符串
double getNumber():
{
    double number;
    Token t;
}
{
    t = <NUMBER>
    {number = Double.parseDouble(t.image);
    return number;}
}

简单语法示例

// javacc编译设置
options {
    STATIC = false;
    IGNORE_CASE = true;
    UNICODE_INPUT = true;
}

// 解析类
PARSER_BEGIN(JavaCCGrammar)

package com.github.quxiucheng.parser.javacc.grammar;

public class JavaCCGrammar{

    public static void main(String[] args) throws Exception  {
       JavaCCGrammar grammar = new JavaCCGrammar(System.in);
       grammar.function1();
    }
}
PARSER_END(JavaCCGrammar)

// 忽律的字符
SKIP:{
    " "
    | "\t"
    | "\n"
    | "\r"
    | "\r\n"
}

// token关键字
TOKEN:{
      <SELECT :"select">
    | <UPDATE :"update">
    | <DELETE :"delete">
    | <COMMA:",">
    | <FORM:"form">
    | <AS:"as">
    | <WHERE:"where">
    | <EQUAL:"=">
    | <OPEN_PAR: "(">
    | <CLOSE_PAR: ")">
}

// 定义java代码块
void javaCodeDemo():
{}
{
    {
        int i = 0;
        System.out.println(i);
    }
}

// 函数
void function1():
{
    // 定义局部变量
    int i=0;
}
{
    {return;}
}

// 返回值
double function2():
{
    int i=0;
}
{
    // 带返回值
    {return i;}
}
// 函数调用
double function3():
{
    double i;
}
{
   {i = function2();}
   {return i;}
}

// token复制
void tokenAssignment() :
{
    Token st;
    Token dt;
}
{
     st = <SELECT>
     dt = <DELETE>

}

// if语句
void ifExpr():
{}
{
    [
        <SELECT>
        {
            System.out.println("if select");
        }
    ]

    // 循环，出现一次
    (<SELECT>)?



}

// if - else
void ifElseExpr():
{}
{
    (
        <SELECT> {System.out.println("if else select");}
        |
        <UPDATE>  {System.out.println("if else update");}
        |
        <DELETE>  {System.out.println("if else delete");}
        |
        {
           System.out.println("other");
        }
    )
}

// while 0~n
void while1Expr():{
}
{
    (<SELECT>)*
}

// while 1~n
void while2Expr():{
}
{
    (<SELECT>)+
}


// Java 代码
JAVACODE void print(Token t){
    System.out.println(t);
}

代码示例

https://github.com/quxiucheng/apache-calcite-tutorial/tree/master/calcite-tutorial-2-parser/parser-2-javacc-tutorial

quxiuchengdev
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java CC 解析 SQL 语法示例
猫猫爱吃小鱼粮
10-23 296
Java CC 解析 SQL 语法示例
JavaCC快速入门
qq_29473607的博客
12-27 1142
/ Optional: 在这里可以定义一些全局变量和方法在和PARSER_END之间定义解析器类，你可以在这里声明一些全局变量和方法。TOKEN: // 定义 Token使用TOKEN部分定义词法单元，包括标识符、整数、运算符等。使用正则表达式风格的语法。
Apache Calcite简介
最新发布
Revivedsun的专栏
05-19 133
在这篇文章中，我们探讨了Apache Calcite的能力，它能快速地为数据库提供标准化的SQL解析器，验证器和优化器。这让供应商无需花费太多时间开发查询引擎，使他们能够优先考虑后端存储。此外，Calcite的适配器简化了与各种数据库的连接，有助于开发统一的集成接口。更进一步，通过利用Calcite，数据库开发者可以加快产品上市的时间，同时提供强大、多功能的SQL功能。
如何实现一个SQL解析器
SmartSi
12-31 1078
在选择SQL解析器应用到我们实际的业务场景之前，我们先来了解一下SQL解析器的核心知识点。如何理解语法解析呢？语法解析我们可以这么来进行理解，在启动语法解析任务时，语法分析的任务会在词法分析的结果上将词条序列组合成不同语法短句，组成的语法短句将与相应的语法规则进行适配，若适配成功则生成对应的抽象语法树，否则报会抛出语法错误异常。比如如下SQL语句：SQL示例约定规则如下：上表中，红色的内容通常表示终结符，它们一般是大写的关键字或者符号等，小写的内容是非终结符，一般用作规则的命名，比如字段、表名等。
开源SQL解析工具－Apache Calcite
热门推荐
CodeAsWind
03-11 1万+
概念 Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法术AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。 Calcite的生前为Optiq(也为Farrago), 为Java语言编写, 通过十多年的发展, 在2013年成为Apache旗下顶级项目，并还在持续发展中, 该项...
JAVACC使用总结（三）：通过四则运算解析，初探语法分析
qq_15089775的博客
01-29 2857
语法分析 LOOKHEAD 样例
javacc知识点
weixin_53908842的博客
01-10 1029
javacc的语法描述性文件以.jj结尾，一般情况下采用 1、option{JavaCC的选项} options部分，用于放置 JavaCC 的选项，常见option包括： STATIC：用于决定JavaCC生成的所有成员及方法是否被定义为static(注意：定义为static后，JavaCC所生成的解析器无法再多线程环境下使用）值为 true，表示定义为 static；值为 false，表示不定义为 static该选项的默认值为 true。STATIC = false;（以英文分号结尾）
calcite-avatica-go：Apache Calcite的镜像-Avatica Go SQL驱动程序
01-28
$ go get github.com/apache/calcite-avatica-goPhoenix / Avatica驱动程序实现了Go的database/sql/driver接口，因此，导入database/sql包和驱动程序： import "database/sql"import _ "github.com/apache/calcite-...
calcite-core-1.2.0-incubating-API文档-中文版.zip
04-23
Maven坐标：org.apache.calcite:calcite-core:1.2.0-incubating； 标签：core、apache、calcite、jar包、java、API文档、中文版； 使用方法：解压翻译后的API文档，用浏览器打开“index.html”文件，即可纵览文档...
apache-calcite-avatica-1.16.0-src.tar.gz
03-05
方解石是用于编写数据管理系统的框架。 它使用可插入查询转换规则将以关系代数表示的查询转换为有效的可执行形式。 有一个可选SQL解析器和JDBC驱动程序。...calcite/apache-calcite-avatica-1.16.0
apache-calcite-1.36.0-src.tar.gz
02-20
由于在某些情况下，通过Maven可能无法顺利下载到这个依赖，所以选择直接下载压缩包文件"apache-calcite-1.36.0-src.tar.gz"成为了一个备选方案。 Calcite的核心功能在于它的动态数据管理，它支持多种数据模型，包括...
Apache Calcite
04-25
Apache Calcite使用实践，基于Apache Calcite的SQL解析引擎
JavaCC教程(附源码)
11-18
JavaCC附源码详细教程，对快速了解和学习JavaCC有很大帮助，结合实例讲角，通俗易懂
apache-calcite-1.25.0-src.tar.gz
03-05
方解石是用于编写数据管理系统的框架。 它使用可插入查询转换规则将以关系代数表示的查询转换为有效的可执行形式。 有一个可选SQL解析器和JDBC驱动程序。 方解石不存储数据或具有首选...calcite/apache-calcite-1.25.0
利用javacc解析SQL
xuanmu2011的专栏
01-08 4337
首先编写.jjt文件SQLParser.jjt： PARSER_BEGIN(SQLParser) public class SQLParser{   public static void main(String args[]) {     System.out.println("Reading from standard input...");     SQLParser p = new
Java解析SQL的基本思路
java小白翻身
04-25 4083
天天在写sql，一直很好奇sql到底咋解析的，于是随便整个小demo。 比如sql是： String sql = "selectname,score,sexfromuserswherename = 'jack'andisdelete <> 1 ; "; 中间可能有1个或者多个空格，就想着怎么着也得有个分词的类，就叫做Tokenizer吧。 public class Tokenizer implements Iterator<String> { Str......
Flink table&Sql中使用Calcite
weixin_30867015的博客
12-19 276
Apache Calcite是什么东东 Apache Calcite面向Hadoop新的sql引擎，它提供了标准的SQL语言、多种查询优化和连接各种数据源的能力。除此之外，Calcite还提供了OLAP和流处理的查询引擎。它2013年成为了Apache孵化项目以来，在Hadoop中越来越引人注目，并被众多项目集成。比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和...
java sql语法解析_利用Java理解sql的语法(实例讲解)
weixin_34893782的博客
02-13 409
select 相当于 for 循环select id from IDArrayLinkedList a = new LinkedList();for ( int i=0 ; ia.add(IDArray.get("id" ) );}return a;当执行子查询时，可以理解为select id, ( select name from nameArray) as names ,from Idarra...
JAVACC使用总结（二）：词法TOKEN
qq_15089775的博客
01-23 2848
词法类型 哪些要定义成TOKEN? 样例
tar: Error opening archive: Failed to open 'apache-calcite-1.34.0-src.tar.gz'
05-10
这个错误通常是由于文件不存在或权限不足引起的。请检查文件路径和文件名是否正确，并确保您有足够的权限来访问该文件。如果该文件是在网络上或其他远程位置，请确保您已经建立了正确的连接，并且可以访问该文件。您也可以尝试使用其他工具来解压缩文件，例如7-Zip或WinRAR，以确保问题不是由于tar本身引起的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值