21.sharding-jdbc源码之SQL解析-词法分析

最新推荐文章于 2024-07-25 10:36:33 发布

阿飞的博客

最新推荐文章于 2024-07-25 10:36:33 发布

阅读量1.1k

点赞数

分类专栏：数据库 Java sharding-jdbc源码分析文章标签：分库分表 sharding-jdbc

本文链接：https://blog.csdn.net/feelwing1314/article/details/80515977

版权

本文详细探讨了sharding-jdbc源码中的SQL解析，重点在于词法分析阶段。首先介绍了词法分析的作用，接着分析了如何通过LexerEngine获取第一个token，以及在不同数据库环境下如何处理忽略的token，如空格、注释等。接着，文章详细阐述了nextToken()方法的逻辑，包括跳过忽略的token和识别各种SQL元素如变量、标识符、数字等。最后，讨论了如何得到SQL解析器，并预示了后续将分析SQL语句的解析过程。

摘要由CSDN通过智能技术生成

阿飞Javaer，转载请注明原创出处，谢谢！！

sharding-jdbc对SQL解析的源码主要在下图所示parsing模块中，由下图可知SQL解析主要分为两部分：lexer和parser。lexer就是本文需要分析的词法分析：
sharding-jdbc sql解析

分析sharding-jdbc源码的词法分析之前，先大概说一下词法分析是干嘛的，后面理解起来就会更容易，例如对于SQL：“/! hello, afei /delete ignore from `t_user` where user_id=? “而言，词法分析结果如下：

SQL	com.dangdang.ddframe.rdb.sharding.parsing.lexer.token.Token
/! hello, afei /	跳过
delete	(type=DELETE, literals=delete, endPosition=24)
ignore	(type=IGNORE, literals=ignore, endPosition=31)
from	(type=FROM, literals=from, endPosition=36)
`t_user`	(type=IDENTIFIER, literals=`t_user`, endPosition=45)
where	(type=WHERE, literals=where, endPosition=51)
user_id	(type=IDENTIFIER, literals=user_id, endPosition=59)
=	(type=EQ, literals==, endPosition=60)
?	(type=QUESTION, literals=?, endPosition=61)
	(type=END, literals=, endPosition=62)

SQL解析结果初探

前面分析SQL重写的时，其测试用例代码在SQLRewriteEngineTest.java中，列举其中一个用例源码如下，assertRewriteForLimit()方法中的selectStatement就是SQL解析的结果：

@Before
public void setUp() {
    // 定义sharding规则
    shardingRule = new ShardingRuleMockBuilder()
            // table_x表的主键列是id
            .addGenerateKeyColumn("table_x", "id")
            // table_x和table_y是绑定表关系
            .addBindingTable("table_y").build();
    selectStatement = new SelectStatement();
    tableTokens = new HashMap<>(1, 1);
    // 逻辑表table_x对应的实际表是table_1
    tableTokens.put("table_x", "table_1");
}

@Test
public void assertRewriteForLimit() {
    selectStatement.setLimit(new Limit(true));
    selectStatement.getLimit().setOffset(new LimitValue(2, -1));
    selectStatement.getLimit().setRowCount(new LimitValue(2, -1));
    selectStatement.getSqlTokens().add(new TableToken(17, "table_x"));
    selectStatement.getSqlTokens().add(new OffsetToken(33, 2));
    selectStatement.getSqlTokens().add(new RowCountToken(36, 2));
    // SelectStatement就是SQL解析的结果
    SQLRewriteEngine rewriteEngine = new SQLRewriteEngine(shardingRule, "SELECT x.id FROM table_x x LIMIT 2, 2", selectStatement);
    assertThat(rewriteEngine.rewrite(true).toSQL(tableTokens), is("SELECT x.id FROM table_1 x LIMIT 0, 4"));
}