Pisa-Proxy 之 SQL 解析实践

 SQL 语句解析是一个重要且复杂的技术，数据库流量相关的 SQL 审计、读写分离、分片等功能都依赖于 SQL 解析，而 Pisa-Proxy 作为 Database Mesh 理念的一个实践，对数据库流量的治理是其核心，因此实现 SQL 解析是一项很重要的工作。 本文将以 Pisa-Proxy 实践为例，为大家展现 Pisa-Proxy 中的 SQL 解析实现，遇到的问题及优化。

一、背景

关于语法分析

语法分析一般通过词法分析器，如 Flex，生成相应的 token，语法分析器通过分析 token，来判断是否满足定义的语法规则。

语法分析器一般会通过解析生成器生成。

语法分析算法常用的有以下：

• LL（自上而下）

与上下文无关文法，从左到右扫描，从最左推导语法树，相比 LR 更容易理解，错误处理更友好。

• LR（自下而上）

与上下文无关文法，从左到右扫描，从最右节点推导语法树，相比 LL 速度快。

• LALR

与 LR 类似，在解析时比 LR 生成的状态更少，从而减少 Shift/Reduce 或者 Reduce/Reduce 冲突，被业界广泛使用的 bison/yacc 生成的就是基于 LALR 解析器。

关于调研

在开发 SQL 解析之初，我们从性能、维护性、开发效率、完成度四方面分别调研了 antlr_rust，sqlparser-rs，nom-sql 项目，但都存在一些问题。

• antlr_rust

ShardingSphere 实现了基于 Antlr 的不同的 SQL 方言解析，为了使用它的 Grammar，我们调研了 antlr_rust 项目，此项目不够活跃，成熟度不够高。

• sqlparser-rs

在 Rust 社区里，sqlparser-rs 项目是一个较为成熟的库，兼容各种 SQL 方言，Pisa-Proxy 在未来也会支持多种数据源，但是由于其词法和语法解析都是纯手工打造的，对我们来说会不易维护。

• nom-sql

nom-sql 是基于 nom 库实现的 SQL 解析器，但是未实现完整，性能测试不如预期。

• grmtools

Grmtools 是在寻找 Rust 相关的 Yacc 实现时发现的库，该库实现了兼容绝大部分 Yacc 功能，这样就可以复用 MySQL 官方的语法文件，但是需要手写 Lex 词法解析，经过对开发效率及完成度权衡后，我们决定做难且正确的事，实现自己的 SQL 解析器，快速实现一个 Demo 进行测试。

编码完成后，测试效果还不错。

总结如下：

工具	antlr_rust	sqlparser-rs	nom-sql	grmtools<