【Calcite】SQL解析、词法分析、语法分析、语意分析

于 2025-06-26 00:15:00 发布
阅读量247 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： SQL解析-Calcite 文章标签： sql 数据库 java
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/136120301

在这里插入图片描述

1.概述

SQL解析包含三个过程：词法分析、语法分析、输出抽象语法树

SQL解析将一个输入的字符串，变换为描述这个字符串的“结构体〞

2.词法解析

词法解析就是将我们输入的字符集转换成单词，要做词法解析首先要定义词法规则，比如abc我们定义为标识符，然后把单引号的abc标识为字符串，然后把123定义成数字，然后把select定义为关键字。
在这里插入图片描述
那么我们输入一条SQL后，就可以把SQL语句转换成词法集合。得到了词法，那么我们就可以进行语法分析了。

3. 语法分析

词法分析是语法分析的输入。语法分析的结果是一个抽象语法树。抽象语法树AST是用户输入语句的树形结构表现形式。

树上的每一个节点都是一个 “单词”，树的结构体现了 “语法”。

AST随语法分析过程构造，其结构和用户的输入是一一对应的

最终我们能得到一个抽象语法树，下图是简化的

了解本专栏 订阅专栏 解锁全文
Postgres 词法分析和语法分析
Melo琦
02-26 1734
1： 基本概念 postgres数据库将用户输入的sql命令作为字符串传递给查询分析器，并对其进行词法分析和语法分析，最后生成分析数。 2： 使用工具 词法分析和语法分析是由Unix工具Yacc和Lex制作的。具体使用的是Bison和Flex。 3：postgres相关的文件 [1] kwlist.h: 声明keyword列表（包括保留关键字和非保留关键字）。 具体的：keyword: (name, token_value,category)。 [2] kwlookup.cpp: 定义Scan
使用Calcite做Sql语法解析
热门推荐
张普的专栏
02-05 1万+
点击箭头处“蓝色字”，关注我们哦！！Flink SQL中使用Calcite作为sql语法解析、校验、优化工具，本篇是实操篇，介绍一下calcite做sql语法解析使用方式。sql经过ca...
简易sql词法分析器和语法分析器
毕业作品网站
07-14 1581
完成 SQL 语言的词法分析器，要求采用课程教授方法，实现有限状态机确定化，最小化算法。词法分析器的输入为 SQL 语言源代码，输出识别出单词的二元属性，填写符号表。单词符号的类型包括关键字、标识符、界符、运算符、整数、浮点数、字符串。在词法分析的实现中我们分别实现了两套机制：手工构造词法分析以及基于 NFA 转 DFA 的确定化以及 DFA 最小化算法，下面我将详细这两种实现方式。 在词法分析中，我们需要输入源代码，进而转化为 token stream。由于采用手工构造词法分析器，因此我们实现了 方法来
词法分析，语法分析
weixin_33693070的博客
03-12 415
最近看到公司的产品有词法分析，语法分析，很有意思，阅读，学习，记录下。 1.词法分析 lexical analysisis the process of converting a sequence of characters into a sequence of tokens。 比如：Time()<="080000"，要让计算器知道Time()是什么意思，计算机认不认识，究其源...
Mysql——》词法解析 && 语法解析 && 预处理器
小仙~
03-28 1647
1、词法解析 概念：就是把一个完整的sql语句打碎成一个个的单词 比如：select name from user where id = 1; 结果：打碎成8个符号，记录每个符号是什么类型，从哪里开始到哪里结束。 2、语法解析 1、做语法检查：比如单引号能没有闭合 2、生成解析树：也叫数据结构 3、预处理器 1、检查表名是否错误（存在） 2、检查列名是否错误（存在） 3、检查别名是否错误（保证没有歧义） ...
ANTLR 实战 SQL 词法/语法分析
pentiumCM的博客
05-12 3700
ANTLR 实战 SQL 词法/语法分析 关于 词法/语法分析 和 ANTLR 语法 的详细内容，可参考我的另一篇博客：https://blog.csdn.net/pentiumCM/article/details/106076655。 本篇博客为实战入门速食篇，主要提供demo实战，不做太多内容展开。 一、准备工具 安装 ANTLR 环境： 推荐使用 ANTLR-4.8版本 参考资料：https://www.cnblogs.com/wynjauu/articles/9872822.html 二、实战
Apache Calcite - 使用框架Sql解析器解析Sql
Revivedsun的专栏
06-18 3792
Calcite提供的解析器和一般的语言解析器用法类似，均是基于访问者模式进行解析，最终实现特定的功能。
Apache Calcite中之SQL解析并替换占位参数和获取复杂SQL中的别名关系
Joe192的博客
03-29 5544
概述：上篇已经详细介绍Apache Calcite的概念，这块就不在多少了，直接看实现代码 package com.joe.common.util; import com.google.common.collect.ImmutableList; import org.apache.calcite.avatica.util.Casing; import org.apache.calcite.avatica.util.Quoting; import org.apache.calcite.avatica.uti
Apache Calcite原理解析（3）--解析层
最新发布
AlwaysBestSign_X的博客
09-22 1322
Calcite中，JavaCC 的依赖已经被封装到 calcite-core 模块当中，如果使用 Maven 作为依赖管理工具，只需要添加对应的calcite-core模块坐标即可。在代码中，可以直接使用 Calcite 的 SqlParser 接口调用对应的语法解析流程，对相关的 SQL 语句进行解析。// SQL语句// 解析配置// 创建解析器// 解析SQL语句Load操作时将数据从一种数据源导入另一种数据源中，Load操作采用的语法模板如下。
SQL - 词法/语法分析各种方案总结
pentiumCM的博客
05-12 3787
文章目录SQL 词法/语法分析一、技术实现方案1. Lex + Yacc2. ANTLR3. ANTLR 的 IDE ——ANTLRWorks24. jsqlparser - 基于javacc实现的解析器JSqlParser4. Javacc/AST SQL 词法/语法分析 一、技术实现方案 1. Lex + Yacc Lex：词法分析 - flex Yacc：语法分析 - bison 搭载语言：C语言 弊端：移植性不够，需要和以自动机为原理的YACC/LEX生成的一大堆整数表打交道。 相当于从零开始造
flora-sql-parser：将SQL（选择）语句解析为抽象语法树（AST），并将AST转换回SQL
02-06
Flora SQL解析器 将简单SQL语句解析为抽象语法树（AST），然后将其转换回SQL。 用法 为SQL语句创建AST const { Parser } = require ( 'flora-sql-parser' ) ; const parser = new Parser ( ) ; const ast = parser . parse ( 'SELECT * FROM t' ) ; console . log ( ast ) ; 将AST转换回SQL const { Parser } = require ( 'flora-sql-parser' ) ; const ast = (
语法树学习笔记——数据库实现原理
11-04
语法树学习笔记——数据库实现原理.doc
浅谈SQL编译 (1)词法分析
大表哥的博客
06-24 4056
1.前端SQL编译介绍 词法分析，将 SQL 字符串拆分成包含关键词识别的字符段（Tokens）。 语法分析，利用自顶向下或自底向上的算法，将 Tokens 解析为 AST，可以手动，也可以自动。 错误检测、恢复、提示推断，都需要利用语法分析产生的 AST。 语义分析，做完这一步就可以执行 SQL 语句了，不过对前端而言，不需要深入到这一步，可以跳过。 2.词法分析：字符串分割 (1)Token分类 注释。 关键字（SELECT、CREATE）。
词法语法分析
weixin_47895938的博客
08-23 360
词法分析和语法分析是由Lex和Yacc配合完成，在postgres源代码中为scan.l文件和gram.y文件。这两个文件分别预生成scan.c和gram.c文件，他们俩再配合上词法语法分析模块所需要的C文件就构成了词法分析和语法分析的整个模块。其中词法分析语法分析需要的文件生成调用关系如下图。词法分析器 scan.l 负责识别标识符，SQL 关键字等，对于发现的每个关键字或者标识符都会生成一个记号并且传递给分析器;语法分析器 gram.y 包含一套语法规则和触发规则时执行的动作；
Druid SQL解析
西魏陶渊明的博客
03-27 8529
相关信息 本篇主要学习Druid 对Sql的语法解析。学习完之后,我们可以对任意sql进行解析,同时也可以基于AST语法树来生成sql语句。 (opens new window) # 一、AST AST是abstract syntax tree的缩写，也就是抽象语法树。和所有的Parser一样，Druid Parser会生成一个抽象语法树。 在Druid中，AST节点类型主要包括SQLObj...
SQL 语句解析过程详解（附带完整demo）
热爱数据库的小胖
08-26 6616
本文主要是使用 Flex 和 Bison 工具实现一个简单的 SQL 解析器，最终生成抽象语法树！下面先分别对 Flex 和 Biosn 原理进行介绍，然后给出 SQL 解析器的完整 Demo！
手写MySQL补充章（十二）SQL语法解析之语法树
zhang24360的博客
02-10 3369
无
SQL语句
liuxiaoxiao
07-05 108
结构化查询语言(Structured Query Language，简称SQL)是一种数据库查询和程序设计语言。 SQL语句按其功能分为4类： 1.数据定义语言（DDL Data Definition Language） ：创建、修改或删除数据库中表、视图、索引等对象的操作，常用命令为create、alter和drop； 2.数据查询语言（DQL Data Query Language） ：按照指定的组合、条件表达式或排序检索已存在的数据库中数据，不改变数据库中数据，常用命令为select； ...
SQL解析器之词法分析--预扫描
weixin_34344403的博客
08-24 227
我设计的在SQL语句解析之前，先必须进行预扫描，其作用是 去除注释 去除前导空格 并且将各单词之间的多个空格压缩成一个 并且去掉所有的换行符便于语法分析 1 function TSCanner.Pro_Process(str: string): string; 2 var 3 sTemp, sTemp1: string; 4 sList: TStringList; ...
Calcite SQL解析与处理工具rhombic
rhombic是一个针对Calcite SQL的解析器和帮助器库，旨在简化SQL语句的分析和处理过程。该项目通过生成抽象语法树（AST）来提供一种方法，使得开发者能够轻松分析和操作SQL查询。该库是用TypeScript编写的，利用其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值