yacc 语法 mysql_Mysql源码学习——打造专属语法

最新推荐文章于 2022-09-12 23:09:26 发布
最新推荐文章于 2022-09-12 23:09:26 发布
阅读量537 收藏 2
点赞数
文章标签： yacc 语法 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36317492/article/details/113550886
版权
本文深入探讨MySQL源码，解析如何在MySQL中添加自定义语法和系统变量。通过分析sql_yacc.yy和lex.h，了解如何关联字符串与符号，以及系统变量的查找和设置。示例中添加了自定义关键字`NO_CODE`，当输入`no_code`时，会返回`MAKE BY NOCODE`。
摘要由CSDN通过智能技术生成

我们看下sql_yacc.yy，可以找到如下一个定义：

%token SELECT_SYM /* SQL-2003-R */

这里其实是定义了一个宏SELECT_SYM，代表一个关键字，宏定义如下：

#define SELECT_SYM 687

那么字符串"SELECT"和SELECT_SYM是如何联系在一起的呢？我们回头看下MYSQLlex中的find_keyword这个函数：

static int find_keyword(Lex_input_stream *lip, uint len, bool function)

{

const char *tok= lip->get_tok_start();

SYMBOL *symbol= get_hash_symbol(tok, len, function);

if (symbol)

{

lip->yylval->symbol.symbol=symbol;

lip->yylval->symbol.str= (char*) tok;

lip->yylval->symbol.length=len;

if ((symbol->tok == NOT_SYM) &&

(lip->m_thd->variables.sql_mode & MODE_HIGH_NOT_PRECEDENCE))

return NOT2_SYM;

if ((symbol->tok == OR_OR_SYM) &&

!(lip->m_thd->variables.sql_mode & MODE_PIPES_AS_CONCAT))

return OR2_SYM;

return symbol->tok;

}

return 0;

}

static SYMBOL *get_hash_symbol(const char *s,

unsigned int len,bool function)

{

register uchar *hash_map;

register const char *cur_str= s;

if (len == 0) {

DBUG_PRINT("warning", ("get_hash_symbol() received a request for a zero-length symbol, which is probably a mistake."));

return(NULL);

}

if (function){

if (len>sql_functions_max_len) return 0;

hash_map= sql_functions_map;

register uint32 cur_struct= uint4korr(hash_map+((len-1)*4));

for (;;){

register uchar first_char= (uchar)cur_struct;

if (first_char == 0)

{

register int16 ires= (int16)(cur_struct>>16);

if (ires==array_elements(symbols)) return 0;

register SYMBOL *res;

if (ires>=0)

res= symbols+ires;

else

res= sql_functions-ires-1;

register uint count= (uint) (cur_str - s);

return lex_casecmp(cur_str,res->name+count,len-count) ? 0 : res;

}

register uchar cur_char= (uchar)to_upper_lex[(uchar)*cur_str];

if (cur_char

cur_struct>>=8;

if (cur_char>(uchar)cur_struct) return 0;

cur_struct>>=8;

cur_struct= uint4korr(hash_map+

(((uint16)cur_struct + cur_char - first_char)*4));

cur_str++;

}

}else{

if (len>symbols_max_len) return 0;

hash_map= symbols_map;

register uint32 cur_struct= uint4korr(hash_map+((len-1)*4));

for (;;){

register uchar first_char= (uchar)cur_struct;

if (first_char==0){

register int16 ires= (int16)(cur_struct>>16);

if (ires==array_elements(symbols)) return 0;

register SYMBOL *res= symbols+ires;

register uint count= (uint) (cur_str - s);

return lex_casecmp(cur_str,res->name+count,len-count)!=0 ? 0 : res;

}

register uchar cur_char= (uchar)to_upper_lex[(uchar)*cur_str];

if (cur_char

cur_struct>>=8;

if (cur_char>(uchar)cur_struct) return 0;

cur_struct>>=8;

cur_struct= uint4korr(hash_map+

(((uint16)cur_struct + cur_char - first_char)*4));

cur_str++;

}

}

}

其中的get_hash_symbol便是去系统中查找关键字，第三个参数function代表是否去查找系统函数，我们这里是系统变量，不是函数，故为FALSE。所有的关键字都挂在了hash_map上，即symbols_map上。symbols_maps又是一堆处理过的数据：

static uchar symbols_map[11828]= {

'', 29, 0,

'!', '|', 32, 0,

'

'B', 'Y', 11, 1,

'A', 'W', 147, 2,

'A', 'V', 0, 4,

...

看一下这个文件的最上面的注释吧，看看有啥有用的信息，果然被找到了：

/* Do not edit this file! This is generated by gen_lex_hash.cc

that seeks for a perfect hash function */

看到了这个注释，心中豁然开朗，原来lex_hash.h是由gen_lex_hash.cc进行生成的，大家千万不要自己进行编辑此文件啊！！

来gen_lex_hash.cc看下吧，看到了个main函数，里面是一些生成文件的操作，在generate_find_structs函数中找到了insert_symbols，

这应该是初始化我们的symbols_map数组了吧。

void insert_symbols()

{

size_t i= 0;

SYMBOL *cur;

for (cur= symbols; i

hash_lex_struct *root=

get_hash_struct_by_len(&root_by_len,cur->length,&max_len);

insert_into_hash(root,cur->name,0,(uint) i,0);

}

}

看到函数的实现是循环取数组symbols,找到symbols定义，在文件lex.h中，看到这个数组，我想大家就会了然了:

{ "SELECT",SYM(SELECT_SYM)},

这就是将SELECT字符串与SELECT_SYM关联的地方了，bingo！

我们再来捋一下SELECT解析的思路，词法分析解析到SELECT后，执行find_keyword去找是否是关键字，发现SELECT是关键字，

于是给yacc返回SELECT_SYM用于语法分析。note：如果我们想要加关键字，只需在sql_yacc.yy上面添加一个%token xxx,

然后在lex.h里面加入相应的字符串和SYM的对应即可。

下面看下@@version_comment这个系统变量如何解析的，首先给出其语法节点：

variable_aux:

...

| '@' opt_var_ident_type ident_or_text opt_component

{

/* disallow "SELECT @@global.global.variable" */

if ($3.str && $4.str && check_reserved_words(&$3))

{

my_parse_error(ER(ER_SYNTAX_ERROR));

MYSQL_YYABORT;

}

if (!($$= get_system_var(YYTHD, $2, $3, $4)))

MYSQL_YYABORT;

if (!((Item_func_get_system_var*) $$)->is_written_to_binlog())

Lex->set_stmt_unsafe();

}

;

这里便是查找系统变量的地方了：get_system_var，我们跟进去看下：

Item *get_system_var(THD *thd, enum_var_type var_type, LEX_STRING name,

LEX_STRING component)

{

sys_var *var;

LEX_STRING *base_name, *component_name;

if (component.str)

{

base_name= &component;

component_name= &name;

}

else

{

base_name= &name;

component_name= &component;// Empty string

}

if (!(var= find_sys_var(thd, base_name->str, base_name->length)))

return 0;

if (component.str)

{

if (!var->is_struct())

{

my_error(ER_VARIABLE_IS_NOT_STRUCT, MYF(0), base_name->str);

return 0;

}

}

thd->lex->uncacheable(UNCACHEABLE_SIDEEFFECT);

set_if_smaller(component_name->length, MAX_SYS_VAR_LENGTH);

return new Item_func_get_system_var(var, var_type, component_name,

NULL, 0);

}

由find_sys_var函数不断跟进去，我们跟到了set_var.cc，找到了如下定义：

static sys_var_chain vars = { NULL, NULL };

系统变量都会挂载在次链上。在文件中，搜索到了version_comment:

static sys_var_const_strsys_version_comment(&vars, "version_comment",

MYSQL_COMPILATION_COMMENT);

#define MYSQL_COMPILATION_COMMENT"Source distribution"

这便是将version_comment加载到vars的链表上。

OK，我们也来加一个自己的系统变量：

static sys_var_const_strsys_version_comment(&vars, "version_comment",

MYSQL_COMPILATION_COMMENT);

/**add by nocode */

static sys_var_const_strsys_version_comment_test(&vars, "nocode_test_sysvar",

MYSQL_COMPILATION_NOCODE_TEST_SYSVAR);

#define MYSQL_COMPILATION_COMMENT    "Source distribution"

#define MYSQL_COMPILATION_NOCODE_TEST_SYSVAR  "No code in heart"    /*add by nocode*/

注释add by nocode的地方，即是新添加的系统变量和宏定义，我们的系统变量叫@@nocode_test_sysvar,其值为No code in heartOK，重新编译代码，执行SELECT语句，OK了。

mysql> select @@nocode_test_sysvar;

+----------------------+

| @@nocode_test_sysvar |

+----------------------+

| No code in heart |

+----------------------+

1 row in set (0.01 sec)

上面添加了一个系统变量，并没有修改语法文件sql_yacc.yy,为了加深理解，我们添加一个属于自己的语法：nocode语法，为了简单化实现，我们的目标很简单，在客户端输入no_code后显示字符串"MAKE BY NOCODE"。

定义关键字

首先在sql_yacc.yy文件中添加相应的SYMBOL

%token NO_SYM /* SQL-2003-R */

%token NO_CODE_SYM /* add by nocode*/

%token NO_WAIT_SYM

然后在lex.h中的symblos数组中添加nocode的字符串和符号的对应关系：

{ "NO",SYM(NO_SYM)},

{ "NO_CODE",SYM(NO_CODE_SYM)}, /*add by nocode*/

{ "NO_WAIT",SYM(NO_WAIT_SYM)},

ok,至此我们关键字已经添加进去了

添加语法节点

我们给语法分支节点起名叫nocode，定义如下：

/**add by nocode*/

nocode:

NO_CODE_SYM

{

THD *thd= YYTHD;

LEX *lex= Lex;

SELECT_LEX *sel= lex->current_select;

Item_string* field;

LEX_STRING tmp;

CHARSET_INFO *cs_con= thd->variables.collation_connection;

CHARSET_INFO *cs_cli= thd->variables.character_set_client;

if (sel->linkage != UNION_TYPE)

mysql_init_select(lex);

lex->current_select->parsing_place= SELECT_LIST;

uint repertoire= thd->lex->text_string_is_7bit &&

my_charset_is_ascii_based(cs_cli) ? MY_REPERTOIRE_ASCII : MY_REPERTOIRE_UNICODE30;

tmp.str = "MAKE BY NOCODE";

tmp.length = strlen(tmp.str);

field= new (thd->mem_root) Item_string(tmp.str, tmp.length, cs_con,

DERIVATION_COERCIBLE,

repertoire);

if (field== NULL)

MYSQL_YYABORT;

if (add_item_to_list(thd, field))

MYSQL_YYABORT;

Select->parsing_place= NO_MATTER;

lex->sql_command= SQLCOM_SELECT;

}

;

最后要在statement的语法节点上加入nocode分支，我就不贴不来了。只要读到"no_code"便会进行进入这个语法分支。在这个分支里，做了一些操作，首先构造了一个SELECT类型的语句，然后对其添加了一列，这列的名称就是"MAKE BY NOCODE"…具体的细节大家自己研究吧，这都不是本文的重点。

语法添加完之后，我们重新编译项目，值得说明的是，Mysql还是项目组织还是非常好的，修改了语法文件之后，不需要我们自己去用bison编译，项目自动就帮我们编译好了，真是不错。重启服务器，在客户端输入no_code,结果如下：

mysql> no_code;

+----------------+

| MAKE BY NOCODE |

+----------------+

| MAKE BY NOCODE |

+----------------+

1 row in set (3.02 sec)

语法分析到此结束。这里只添加了一个很简单的语法分支，没啥用处，主要是介绍下添加分支的步骤，大家添加分支的时候要尽量使用已有的分支，既减少劳动量，同时也会减少语法冲突。唠叨两句，最近项目太紧张，压力山大，每晚都被噩梦惊醒，噩梦中总会想到算法的各种BUG，写个代码都提心吊胆的，哎，搞IT的真是悲催啊。PS 终于又更新了一篇，oh yeah，-_-ps again: 第一次用windows live writer写博客，感觉比网页方便多了～～，赞一个

我家大宝贝拢龙
关注
2022-09-09 Mysql语法解析器
技术之路
09-09 667
众所周知，MySQL Parser是利用C/C++实现的开源yacc/lex组合，也就是 GNU bison/flex。Flex负责生成tokens， Bison负责语法解析。开始介绍MySQL 8.0的新特新之前，我们先简单了解一下通用的两种Parser。一种是Bottom-up parser，另外一种是Top-down parser。
MySQL-词法分析
dukan2009的博客
04-03 2372
目录 简介 BNF 上下文无关文法 Lex 词法分析 常用功能 正则表达式 多规则匹配 yyterminate() 配置选项 其它 值传递 标准格式 YACC 语法分析 语法定义 常用功能 字符串解析 高级yylval 杂项 示例程序 源码解析 执行过程 词法解析 语法分析 调试 参考 当服务器接收到一条 SQL 语句时，其处理过程为： 词法分...
yacc 语法分析
dijinzhou的专栏
06-11 1466
 语法定义用于定义标记序列以及应得到的结果；yacc 语法定义的基本结构是定义预期的标记序列 Yacc 文件格式：关于yacc配置文件的一例子：%{#include "stdafx.h"int yylex(void);void yyerror(char *s);%}%%/* beginning of rules section */%%int analyze(const char *pszFile){    //。。。}%{    /* 全局函数及头文件声明*/%}/*标记定义*/%%/* Parsing
yacc语法学习-part1
weixin_44201830的博客
03-15 1265
YACC的使用方法 1. 用户手动写出文法说明文件（.y或者.grm文件） 2. Yacc编译器将此文法说明文件.y转换成用C编写的语法分析器文件.tab.c，这个文件里至少应该包含语法分析驱动程序yyparse()以及LALR分析表。在这个文件里，语法分析驱动程序调用yylex()这个函数获取输入记号，每次调用yylex()都能获取一个输入记号。yylex()可以由lex生成，也可以自己用c语言写一个yylex()函数，只要每次调用该函数时返回一个记号即可。 3. 用C编译器（gcc或者g++）将.t
yacc语法笔记
穆穆里的专栏
12-16 9876
这篇笔记是从网上下载的文档中摘录的，简明扼要，对yacc新手会有一点帮助。 1.yacc源程序的一般格式 一个yacc源程序一般包括三部分：说明部分；语法规则部分；程序段部分，这三部分内容，依次按下面的格式组织在一起： 说明部分 ％％ 语法规则部分 ％％ 程序段部分 2. yacc源程序说明部分的写法 yacc源程序的说明部分定义语法规则中要用的终结符号，语义动作中
yacc 语法 mysql_mysql分析(二)mysql语法分析
weixin_29205061的博客
01-25 569
一、mysqld中对于SQL语句的分析客户端和服务器之间交互的时候，客户端发送的同样是字符串形式的查询和执行命令，返回的特定格式的数据库内容(?)。这个过程就需要在服务器端进行实时指令的翻译，生成特定的查询指令。在sqlite的实现中，sqlite定义了一个专用的虚拟机环境，和通常的真正的汇编指令相同，它有自己的指令集，有特定的指令格式和操作数，有自己的寄存器和内存内容，这个虚拟环境叫做vdbe(...
yacc学习笔记（一）基础语法
sxqinjh的博客
03-01 4048
yacc的功能： sql解析中的语法分析工具，和flex配合使用。 yacc不能分析什么： 1、不能处理歧义语法，在歧义语法中，同样的输入符合多个分析树 2、不能处理需要向前看多于一个标记才能确定它是否已经匹配一条规则的语法。 yacc语法分析程序结构： 定义段：处理yacc生成的语法分析程序的控制信息，建立语法分析程序的执行环境 规则段：包含语法分析程序的规则； 代码段：被逐字拷贝到生成的C程序...
mysql源码学习.zip
最新发布
02-22
源码中的`sql_yacc.c`和`sql_lex.cc`文件涉及到词法分析和语法分析，它们是解析SQL语句的基础。 2. 查询优化器：MySQL使用`Optimizer`模块来决定执行查询的最佳方式。`optimizer`目录下的源码文件，如`opt choisir....
03-MySQL数据库源码
04-26
MySQL数据库源码分析 ...通过对MySQL源码的深入学习，你可以掌握数据库设计的底层逻辑，更好地理解和解决数据库中的问题，从而提升系统性能和稳定性。同时，这也为参与MySQL的开发或定制提供了基础。
MySQL 简单查询语句执行过程分析（一）词法分析 & 语法分析
cschmin的专栏
02-28 1725
本文对一条简单的 SELECT 语句执行过程中的词法分析 & 语法分析阶段的过程进行分析。
yacc实现语法分析的y文件
12-01
yacc实现语法分析的y文件，实现一些常见表达式的编译可结合flex的l文件一起进行工作
Yacc源代码
05-30
编译程序需要的分析器，也就是平时说的yacc。
基于yacc实现的语法分析和语义分析
07-03
本资源来源于北邮编译原理作业，代码中的语法分析和语义分析均为基于yacc实现，文件中包括代码、文档、测试用例。可供yacc初学者学习参考。
yacc实现的语法分析器
06-25
利用语法分析器生成工具Yacc/Bison编写一个语法分析程序，与词法分析器结合，能够根据语言的上下文无关文法，识别输入的单词序列是否文法的句子。 有报告，有代码 输入：代码片断 输出：规约产生式
yacc语法分析和语义分析-编译原理
07-07
来源于北邮编译原理作业，代码中的语法分析和语义分析均为基于yacc实现，文件中包括代码、文档、测试用例。可供yacc初学者学习参考。
2022-09-12 mysql语法分析实现
技术之路
09-12 422
如上，SQL 解析入口会调用 MYSQLparse ，而在 sql/sql_yacc.cc 中有如下的宏定义，也就说，在预编译阶段，会将 yyparse 替换为 MYSQLparse ，所以 实际调用的仍是 yyparse 函数。完成语法解析后，会将解析结果生成的数据结构保存在 struct LEX 中，该结构体在 sql/sql_lex.h 文件中定义。Bison 和词法分析的函数接口是 yylex()，在需要的时候调用 yylex() 获取词法解析的数据，并完成自己的语法解析。关于总体介绍可以参考。
mysql yacc 解析_yacc介绍
weixin_35275189的博客
02-07 1387
在mysql源码中，解析sql在sql_yacc.yy中实现，这个文件是一个硕大的文件，用bison来转换为c文件。在《编译原理及实践》中有yacc介绍，编译原理是很深奥的科目，学好了对编程技术好很大的帮助，可惜当初没好好学，需要回炉一下。这里是从《编译原理及实践》的摘录。一个简单的算术表达式的计算器。calc.y，BNF文法如下：%{#include #include %}%token NUMB...
yacc 语法 mysql_如何将MySQL yacc语法转换为antlr LL（1）？
weixin_39855568的博客
01-18 139
I am constructing a MySQL grammar validator with ANTLR. I started with the sql_yacc.yy from the MySQL source code, but I have some difficulties converting the following grammar. I tried many times, bu...
【MySQL源码】yacc & Lex
baidu_34170531的博客
07-22 638
目录 1. YACC 1.1. YACC概述–bison 1.2. 语法规则 1.2.1. 结构 1.2.2. %union 1.2.3. %type 声明 1.2.4. 记号 1.2.5. %code 块 1.2.6. yy宏 1.3. rules　规则 1.3.1. 优先级与结合性 1.3.2. 左递归与右递归 1.3.3. 继承属性($0) 1.4. 二义性和冲突 1.4.1. 二义性 1.4.2. 冲突 1.4.2.1. shift/reduce 移进/归约 1.4.2.2.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值