转自:微点阅读 https://www.weidianyuedu.com
MySQL语法解析器用的bison(即yacc)来实现的,而词法解析是自己来实现的,涉及到的token都在文件lex.h
里面,然后通过Lex_input_stream
里面相关的函数,解析client的sql字节流(其中会通过提前构造好的hash表帮助快速找到对应symbol,相关代码在sql_lex_hash.cc
里面),转换为token,交给bison进行语法解析。
为了给MySQL添加一个新的语法,我们必须添加新的token(如果有新增),以及增加新的语法(sql_yacc.yy)里面。本文以给create table增加一个新的options为例,来演示如何给MySQL新增一个语法。最终的效果如下:
create table t1 (
id int primary key,
name varchar(100)
) global_partition by hash(id) partitions 10; //global_partition by为新增语法,global_partition为新增token
涉及到的修改文件如下:
sql/lex.h //token
sql/parse_tree_nodes.cc
sql/parse_tree_nodes.h
sql/parse_tree_partitions.cc
sql/parse_tree_partitions.h
sql/parser_yystype.h
sql/sql_yacc.yy
2 新增关键词(token)
文件:sql/lex.h
static const SYMBOL symbols[] = {
/*
Insert new SQL keywords after that commentary (by alphabetical order):
*/
//省略部分代码
{SYM("GLOBAL_PARTITION", GLOBAL_PARTITION_SYM)}, //注意按照字典序进行添加。
//省略部分代码
};
按照上面的格式添加即可
3 新增语法
文件:sql/sql_yacc.yy
该文件为bison的语法,关于bison语法可以查看。下面凡是注释标有###为新增部分,没有标的注释是为了方便理解
%token<lexer.keyword> GLOBAL_PARTITION_SYM 1309 /* seancheer */ //### 声明上一步添加的token,声明了才可以使用,编号1309选择一个未使用的就行
%type <global_partition_clause> global_partition_clause //### 声明新增加的数据结构,后面会介绍
create_table_stmt:
CREATE opt_temporary TABLE_SYM opt_if_not_exists table_ident
'(' table_element_list ')' opt_create_table_options_etc //最后一个标记在YYSTYPE中对应的是create_table_tail, 后面会介绍
{
$$= NEW_PTN PT_create_table_stmt(YYMEM_ROOT, $1, $2, $4, $5,
$7,
$9.opt_create_table_options,
$9.opt_partitioning,
$9.opt_global_partitioning, //### 赋值给对应参数,该构造函数需要新增,后面会介绍
$9.on_duplicate,
$9.opt_query_expression);
}
| CREATE opt_temporary TABLE_SYM opt_if_not_exists table_ident
opt_create_table_options_etc
{
$$= NEW_PTN PT_create_table_stmt(YYMEM_ROOT, $1, $2, $4, $5,
NULL,
$6.opt_create_table_options,
$6.opt_partitioning,
$6.opt_global_partitioning, //### 赋值给对应参数,该构造函数需要新增,后面会介绍
$6.on_duplicate,
$6.opt_query_expression);
//partition相关的语法
opt_create_partitioning_etc:
partition_clause opt_duplicate_as_qe //这里是原生的partition表语法
{
$$= $2;
$$.opt_partitioning= $1;
}
| global_partition_clause opt_duplicate_as_qe //### 此处是新增的global_partition语法,
{
$$= $2;
$$.opt_global_partitioning= $1;
}
| opt_duplicate_as_qe
;
//### 下面为重点,新增的global_partition语法,可以看到,用到了新增的token
global_partition_clause:
GLOBAL_PARTITION_SYM BY part_type_def opt_num_parts
{
$$= NEW_PTN PT_global_partition($3, @4, $4);
}
;
4 类似于PT_partition
添加对应的数据结构global_partition_clause
文件:parser_yystype.h
:该文件是bison(yacc)运行的一环,代替bison内置的YYSTYPE
的,当bison对相关语法解析后,生活常识需要构造相关的数据结构,通过对YYSTYPE的自定义,就可以实现构造自定义数据结构的目的了。添加我们自定义的数据结构代码如下:
union YYSTYPE {
PT_sub_partition *opt_sub_part;
PT_part_type_def *part_type_def;
PT_partition *partition_clause;
PT_global_partition *global_partition_clause; //新加数据结构
struct {
Mem_root_array<PT_create_table_option *> *opt_create_table_options;
PT_partition *opt_partitioning;
PT_global_partition *opt_global_partitioning; //同时注意添加到create_table_tail里面,因为create table语法会有该操作
On_duplicate on_duplicate;
PT_query_primary *opt_query_expression;
} create_table_tail;
};
static_assert(sizeof(YYSTYPE) <= 40, "YYSTYPE is too big"); //因为struct里面添加了一个成员变量,所以该union需要的空间也会变大,因此注意修改这一行
下面内容介绍PT_global_partition
数据结构,为了保持和MySQL习惯一致,新增加的数据结构放在了
sql/parse_tree_nodes.cc sql/parse_tree_nodes.h sql/parse_tree_partitions.cc sql/parse_tree_partitions.h
四个文件里,理论上可以放在任何地方。