引言
本文假设读者已经熟悉了 Presto QE 执行模型的一些基本概念,比如 Statement、Query、Stage、Task、Split、Driver、Operator、Exchange。
当前社区版的 Presto并不能很好的支持分页语法,究其原因,我的理解是因为当 offset 过大会造成性能的损失,假设 offset 1,000,000 limit 20,则数据库会扫描 1,000,020 行后然后把前一百万行数据给丢掉,该操作的成本比较高,如图1为一个测试结果【具体见文章末尾参考】,当随着offset增大的时候,Query 的执行时间也会跟着变得越来越大。图1
该篇文章以如何实现分页语法功能做为一个开篇,来介绍如何实现一个分页功能在当前 Presto中。在具体开始开始前,先看下 MySQL 和 PostgreSQL 的分页语法。
MySQL分页语法
MySQL 里面提供的分页语法如下,而用户在写SQL的过程中 (比如 limit 3,5 ),该语法由于没有精确的指定Limit 后面的数字到底代表什么含义而显得有些歧义。
Limit offset, limit
PostgreSQL分页语法
PostgreSQL 提供的Limit分页语法如下:
LIMIT { count | ALL } OFFSET start
Presto当前的语法
只能提供 Limit 后加一个参数的语法结构。关于 sql 的语法定义在 SqlBase.g4文件中,可以看到如下的 Limit 语法并不支持偏移量这样的功能。
query
: with? queryNoWith
;
queryNoWith:
queryTerm
(ORDER BY sortItem (',' sortItem)*)?
(LIMIT limit=(INTEGER_VALUE | ALL))?
;
假设我们要给 Presto 的分页语法如下,也即是未来给用户写sql语句的样子,注意这里只是自己定义的一种语法格式,用户也可以随意指定想要的语法格式。
offset x limit y
要让Presto执行引擎能够识别该语法,则首先需要在 SqlBase.g4层面支持这样的语法结构,然后进行词法分析、语法分析最后生成AST树。ANTLR会根据 SqlBase.g4 生成其中 SqlBaseListener 和 SqlBaseVisitor 两个文件。SqlBaseLi