ClickHouse和他的朋友们（８）纯手工打造的SQL解析器

最新推荐文章于 2024-04-17 09:30:54 发布
最新推荐文章于 2024-04-17 09:30:54 发布
阅读量783 收藏 1
点赞数
文章标签： smalltalk scrum epoll isp xhtml
原文链接：https://ke.qq.com/course/package/28037?saleToken=2203389\x26amp;from=pclink
版权

原文出处：https://bohutang.me/2020/07/25/clickhouse-and-friends-parser/

现实生活中的物品一旦被标记为“纯手工打造”，给人的第一感觉就是“上乘之品”，一个字“贵”，比如北京老布鞋。

但是在计算机世界里，如果有人告诉你 ClickHouse 的 SQL 解析器是纯手工打造的，是不是很惊讶！这个问题引起了不少网友的关注，所以本篇聊聊 ClickHouse 的纯手工解析器，看看它们的底层工作机制及优缺点。

枯燥先从一个 SQL 开始:

EXPLAIN SELECT a,b FROM t1

token 

首先对 SQL 里的字符逐个做判断，然后根据其关联性做 token 分割：

比如连续的 WordChar，那它就是 BareWord，解析函数在 Lexer::nextTokenImpl()，解析调用栈：

DB::Lexer::nextTokenImpl() Lexer.cpp:63
DB::Lexer::nextToken() Lexer.cpp:52
DB::Tokens::operator[](unsigned long) TokenIterator.h:36
DB::TokenIterator::get() TokenIterator.h:62
DB::TokenIterator::operator->() TokenIterator.h:64
DB::tryParseQuery(DB::IParser&, char const*&, char const*, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >&, bool, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, unsigned long, unsigned long) parseQuery.cpp:224
DB::parseQueryAndMovePosition(DB::IParser&, char const*&, char const*, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, unsigned long, unsigned long) parseQuery.cpp:314
DB::parseQuery(DB::IParser&, char const*, char const*, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, unsigned long, unsigned long) parseQuery.cpp:332
DB::executeQueryImpl(const char *, const char *, DB::Context &, bool, DB::QueryProcessingStage::Enum, bool, DB::ReadBuffer *) executeQuery.cpp:272
DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::__1::function<void (std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&)>) executeQuery.cpp:731
DB::MySQLHandler::comQuery(DB::ReadBuffer&) MySQLHandler.cpp:313
DB::MySQLHandler::run() MySQLHandler.cpp:150 

ast

token 是最基础的元组，他们之间没有任何关联，只是一堆生冷的词组与符号，所以我们还需对其进行语法解析，让这些 token 之间建立一定的关系，达到一个可描述的活力。

ClickHouse 在解每一个 token 的时候，会根据当前的 token 进行状态空间进行预判(parse 返回 true 则进入子状态空间继续)，然后决定状态跳转，比如：

EXPLAIN  -- TokenType::BareWord

逻辑首先会进入Parsers/ParserQuery.cpp 的 ParserQuery::parseImpl 方法：

    bool res = query_with_output_p.parse(pos, node, expected)
        || insert_p.parse(pos, node, expected)
        || use_p.parse(pos, node, expected)
        || set_role_p.parse(pos, node, expected)
        || set_p.parse(pos, node, expected)
        || system_p.parse(pos, node, expected)
        || create_user_p.parse(pos, node, expected)
        || create_role_p.parse(pos, node, expected)
        || create_quota_p.parse(pos, node, expected)
        || create_row_policy_p.parse(pos, node, expected)
        || create_settings_profile_p.parse(pos, node, expected)
        || drop_access_entity_p.parse(pos, node, expected)
        || grant_p.parse(pos, node, expected);

这里会对所有 query 类型进行 parse 方法的调用，直到有分支返回 true。

我们来看第一层 query_with_output_p.parse Parsers/ParserQueryWithOutput.cpp：

    bool parsed =
           explain_p.parse(pos, query, expected)
        || select_p.parse(pos, query, expected)
        || show_create_access_entity_p.parse(pos, query, expected)
        || show_tables_p.parse(pos, query, expected)
        || table_p.parse(pos, query, expected)
        || describe_table_p.parse(pos, query, expected)
        || show_processlist_p.parse(pos, query, expected)
        || create_p.parse(pos, query, expected)
        || alter_p.parse(pos, query, expected)
        || rename_p.parse(pos, query, expected)
        || drop_p.parse(pos, query, expected)
        || check_p.parse(pos, query, expected)
        || kill_query_p.parse(pos, query, expected)
        || optimize_p.parse(pos, query, expected)
        || watch_p.parse(pos, query, expected)
        || show_access_p.parse(pos, query, expected)
        || show_access_entities_p.parse(pos, query, expected)
        || show_grants_p.parse(pos, query, expected)
        || show_privileges_p.parse(pos, query, expected

跳进第二层 explain_p.parse ParserExplainQuery::parseImpl状态空间：

bool ParserExplainQuery::parseImpl(Pos & pos, ASTPtr & node, Expected & expected)
{
    ASTExplainQuery::ExplainKind kind;
    bool old_syntax = false;

    ParserKeyword s_ast("AST");
    ParserKeyword s_analyze("ANALYZE");
    ParserKeyword s_explain("EXPLAIN");
    ParserKeyword s_syntax("SYNTAX");
    ParserKeyword s_pipeline("PIPELINE");
    ParserKeyword s_plan("PLAN");

    ... ...
    else if (s_explain.ignore(pos, expected))
    {
       ... ...
    }
    
    ... ...
    
    ParserSelectWithUnionQuery select_p;
    ASTPtr query;
    if (!select_p.parse(pos, query, expected))
        return false;
    ... ...

s_explain.ignore 方法会进行一个 keyword 解析，解析出 ast node:

EXPLAIN -- keyword

跃进第三层 select_p.parse ParserSelectWithUnionQuery::parseImpl状态空间：

bool ParserSelectWithUnionQuery::parseImpl(Pos & pos, ASTPtr & node, Expected & expected)
{
    ASTPtr list_node;

    ParserList parser(std::make_unique<ParserUnionQueryElement>(), std::make_unique<ParserKeyword>("UNION ALL"), false);
    if (!parser.parse(pos, list_node, expected))
        return false;
...

parser.parse 里又调用第四层 ParserSelectQuery::parseImpl 状态空间：

bool ParserSelectQuery::parseImpl(Pos & pos, ASTPtr & node, Expected & expected)
{
    auto select_query = std::make_shared<ASTSelectQuery>();
    node = select_query;

    ParserKeyword s_select("SELECT");
    ParserKeyword s_distinct("DISTINCT");
    ParserKeyword s_from("FROM");
    ParserKeyword s_prewhere("PREWHERE");
    ParserKeyword s_where("WHERE");
    ParserKeyword s_group_by("GROUP BY");
    ParserKeyword s_with("WITH");
    ParserKeyword s_totals("TOTALS");
    ParserKeyword s_having("HAVING");
    ParserKeyword s_order_by("ORDER BY");
    ParserKeyword s_limit("LIMIT");
    ParserKeyword s_settings("SETTINGS");
    ParserKeyword s_by("BY");
    ParserKeyword s_rollup("ROLLUP");
    ParserKeyword s_cube("CUBE");
    ParserKeyword s_top("TOP");
    ParserKeyword s_with_ties("WITH TIES");
    ParserKeyword s_offset("OFFSET");

    ParserNotEmptyExpressionList exp_list(false);
    ParserNotEmptyExpressionList exp_list_for_with_clause(false);
    ParserNotEmptyExpressionList exp_list_for_select_clause(true);  
    ...
    
            if (!exp_list_for_select_clause.parse(pos, select_expression_list, expected))
            return false;

第五层 exp_list_for_select_clause.parse ParserExpressionList::parseImpl状态空间继续：

bool ParserExpressionList::parseImpl(Pos & pos, ASTPtr & node, Expected & expected)
{
    return ParserList(
        std::make_unique<ParserExpressionWithOptionalAlias>(allow_alias_without_as_keyword),
        std::make_unique<ParserToken>(TokenType::Comma))
        .parse(pos, node, expected);
}

... ... 写不下去个鸟！

可以发现，ast parser 的时候，预先构造好状态空间，比如 select 的状态空间:

  1. expression list

  2. from tables

  3. where

  4. group by

  5. with ...

  6. order by

  7. limit

在一个状态空间內，还可以根据 parse 返回的 bool 判断是否继续进入子状态空间，一直递归解析出整个 ast。

总结

手工 parser 的好处是代码清晰简洁，每个细节可防可控，以及友好的错误处理，改动起来不会一发动全身。缺点是手工成本太高，需要大量的测试来保证其正确性，还需要一些fuzz来保证可靠性。好在ClickHouse 已经实现的比较全面，即使有新的需求，在现有基础上修修补补即可。

文内链接

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/Lexer.cpp#L61

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/ParserQuery.cpp#L26

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/ParserQueryWithOutput.cpp#L31

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/ParserExplainQuery.cpp#L10

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/ParserSelectWithUnionQuery.cpp#L26

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/ParserSelectQuery.cpp#L24

  • https://github.com/ClickHouse/ClickHouse/blob/558f9c76306ffc4e6add8fd34c2071b64e914103/src/Parsers/ExpressionListParsers.cpp#L520

延伸阅读

全文完。

Enjoy ClickHouse :)

叶老师的「MySQL核心优化」大课已升级到MySQL 8.0，扫码开启MySQL 8.0修行之旅吧

老叶茶馆_
关注
WideTableMultiDimSQLParser 解析说明：ClickHouse / Hive 数组交并差运算
程序员光剑
03-09 1万+
WideTableMultiDimSQLParser 解析说明 1.ClickHouse 数组交并差运算 --交 t[1] ∩ t[2] : arrayIntersect(t[1], t[2]) select length(arrayDistinct(arrayFilter(x->x is not null, t.res))) as cnt from ( select ar...
【clickhouse】clickhouse 解析器
九师兄
02-21 793
1.概述 ClickHouse 中有两种类型的解析器， full parser 和 data format parser ，前者是一个完整的 SQL 解析器，后者是一个高性能的流解析器。当语句被发到 ClickHouse 时，默认配置下前 1 MB 字节的数据会使用 full parser 来处理，剩下的数据就交给 data format parser了，所以，像 insert 这类语句，即使整个语句再长，也不会有问题。 语法细节，整体上跟 MySQL 是一样的，当然， ClickHouse 在一些地方有自
源码分析 | ClickHouse和他的朋友们（８）纯手工打造的SQL解析器
dbkernel 的博客
07-11 334
本文首发于 2020-07-26 21:55:10现实生活中的物品一旦被标记为“纯手工打造”，给人的第一感觉就是“上乘之品”，一个字“贵”，比如北京老布鞋。但是在计算机世界里，如果有人告诉你 ClickHouse 的 SQL 解析器是纯手工打造的，是不是很惊讶！这个问题引起了不少网友的关注，所以本篇聊聊 ClickHouse 的纯手工解析器，看看它们的底层工作机制及优缺点。枯燥先从一个 SQL 开始： token 首先对 SQL 里的字符逐个做判断，然后根据其关联性做 token 分割：比如连续的 Word
ClickHouse 的 Parser与Interpreter
程序员光剑
06-23 8668
Parser和Interpreter是非常重要的两组接口： Parser分析器负责创建AST对象； Interpreter解释器则负责解释AST，并进一步创建查询的执行管道。 它们与IStorage一起，串联起了整个数据查询的过程。 Parser分析器可以将一条SQL语句以递归下降的方法解析成AST语法树的形式。 不同的SQL语句，会经由不同的Parser实现类解析。例如，有负责解析DDL查询...
ClickHouse源码分析——SQL解析
Hello!Eden
01-10 5597
SQL解析函数 ClickHouse的SQL解析入口函数：parseQuery, 函数原型： ASTPtr parseQuery(     IParser &amp; parser,     const char * begin,     const char * end,     const std::string &amp; query_description,     size...
大数据之ClickHouse
Andrew_Chenwq的博客
04-13 673
首先，MergeTree的分区目录并不是在数据表被创建之后就存在的，而是在数据写入过程中被创建的，也就是说，如果一张数据表没有任何数据，那么也不会有任何分区目录存在。MergeTree按照index_granularity的间隔粒度，将一段完整的数据划分成了多个小的间隔数据段，一个具体的数据段即是一个MarkRange。通过与start及end对应的索引编号的取值，即能够得到它所对应的数值区间。MergeTree数据分区的规则由分区ID决定，而具体到每个数据分区所对应的ID，则是由分区键的取值决定的。
执行clickhouse的sql文件的脚本，支持定时任务
06-15
执行clickhouse的sql文件的脚本。 ~~~ 脚本执行命令如下： ~~~ sh backup-ch.sh ip port user password db chdir(clickhouse安装目录) sql_dir(sql文件路径) ~~~ 参数灵活配置。拥有7个参数。可满足多种场景。 ~~~ ...
ClickHouse SQL语法
Daniel462038751的专栏
10-20 1568
Clickhouse常用SQL语法介绍
clickhouse原理解析与开发实战 pdf_实战中学习浏览器工作原理 — HTML 解析与 CSS 计算
weixin_39964590的博客
11-22 293
我是三钻，一个在《技术银河》中等你们一起来终生漂泊学习。 点赞是力量，关注是认可，评论是关爱！下期再见 ！前言上一部分我们完成了从 HTTP 发送 Request，到接收到 Response，并且把 Response 中的文本都解析出来。这一部分我们主要讲解如何做 HTML 解析 和 CSS 计算这两个部分。根据我们上部分列出的一个完整的浏览器架构的话，蓝色背景的部分就是我们目前已经完成的流程...
【数据产品】三种SQL解析器对比
Coinker的博客
11-06 3042
三种SQL解析引擎对比~
如何实现一个SQL解析器
vivo互联网技术
10-24 2515
本篇文章主要介绍如何实现一个SQL解析器来应用的业务当中，同时结合具体的案例来介绍SQL解析器的实践过程。
SQL 语句解析过程详解（附带完整demo）
热爱数据库的小胖
08-26 5627
本文主要是使用 Flex 和 Bison 工具实现一个简单的 SQL 解析器，最终生成抽象语法树！下面先分别对 Flex 和 Biosn 原理进行介绍，然后给出 SQL 解析器的完整 Demo！
SQL EXPLAIN解析器
Fong灵
11-28 575
SQL explain解析器
Python-sqlparse解析SQL工具库一文详解（二）_sqlparse
最新发布
2401_84183669的博客
04-17 2707
【代码】Python-sqlparse解析SQL工具库一文详解（二）_sqlparse。
探索先进的SQL解析器：Hyrise SQL Parser
gitblog_00059的博客
04-14 362
探索先进的SQL解析器：Hyrise SQL Parser sql-parserSQL Parser for C++. Building C++ object structure from SQL statements.项目地址:https://gitcode.com/gh_mirrors/sq/sql-parser 是一个开源的、高度优化的SQL解析库，专为高性能数据库系统设计。该项目的目标是...
【ClickHouse内核】Insert语句执行链路
Night_ZW的博客
01-19 1705
摘要: 本文主要讲述ClickHouse开源数据库插入语句的执行流程。主要内容如下: 测试的环境 涉及到的核心类和功能 语句的执行链路 结论
开源SQL解析工具－Apache Calcite
热门推荐
CodeAsWind
03-11 1万+
概念 Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法术AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。 Calcite的生前为Optiq(也为Farrago), 为Java语言编写, 通过十多年的发展, 在2013年成为Apache旗下顶级项目，并还在持续发展中, 该项...
深入理解分布式事务
zqftisson的专栏
07-04 3211
本文链接：http://www.codeceo.com/article/distributed-transaction.html 本文作者：码农网 – 吴极心 1、什么是分布式事务 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。以上是百度百科的解释，简单的说，就是一次大的操作由不同的小操作组成，这些小的操作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值