MySQL · 5.7新特性 · Query Rewrite Plugin

updated 2018/10/2

WL#8776: Query Rewrite Plugin: Support insert, update and delete statements

前言

从MySQL5.7.6版本开始支持Rewrite Plugin，可以将符合条件的SQL进行重写。在真实世界中，这个特性还是非常有用的，例如错误的上线了某个SQL，但由于无法走到索引导致全库; 或者你可能使用某个第三方的已编译好的软件，但SQL可能执行错误，你又无法直接修改应用，这个特性将会非常有用。你可以去编写符合你要求的插件。

QR插件支持两种重写方式，一种是在语法解析之前，直接修改SQL字符串，一种是在语法解析之后，通过操控语法解析树来进行重写。

我们将简单讨论下使用MySQL自带的rewriter插件如何使用，以及为编写QR插件新增的一些接口

官方示例程序

MySQL提供了一个相对复杂的例程，你可以通过如下程序进行安装：

 mysql -u root -p < install_rewriter.sql

这是官方准备好的安装语句，帮助你自动安装插件，创建一个新的数据库query_rewrite，其中包含一张表rewrite_rules，用于定义重写的规则，也可以用于管理规则，例如打开或关闭。

例如为如下语句加一条hint:
SELECT k, id from sbtest1 where k = ?;
改写成：
select k, id from sbtest1 force index(primary) where k = ?;

为实现该目标，我们可以进行如下操作：

insert into query_rewrite.rewrite_rules(pattern, replacement, pattern_database) values (
"SELECT k, id from sbtest1 where k = ?",
"SELECT k, id from sbtest1 force index(primary)  where k = ?",
"sb1");

mysql> select * from query_rewrite.rewrite_rules\G
*************************** 1. row ***************************
                id: 4
           pattern: SELECT k, id from sbtest1 where k = ?
  pattern_database: sb1
       replacement: SELECT k, id from sbtest1 force index(primary)  where k = ?
           enabled: YES
           message: NULL
    pattern_digest: cb5652eecffae66bdaa4ef31895b6476
normalized_pattern: select `k`,`id` from `sb1`.`sbtest1` where (`k` = ?)
1 row in set (0.00 sec)

然后调用存储过程:

CALL query_rewrite.flush_rewrite_rules();

该存储过程先提交当前的会话的事务（如果有未提交的事务的话），Reset Query Cache.然后调用一个UDF函数load_rewrite_rules将规则加载到插件的内存中。

现在我们执行SQL试试：

mysql> select k, id from sbtest1 where k = 19618;
+-------+------+
| k     | id   |
+-------+------+
| 19618 | 4574 |
+-------+------+
1 row in set, 1 warning (0.02 sec)

mysql> show warnings\G
*************************** 1. row ***************************
  Level: Note
   Code: 1105
Message: Query 'select k, id from sbtest1 where k = 19618' rewritten to 'SELECT k, id from sbtest1 force index(primary)  where k = 19618' by a query rewrite plugin
1 row in set (0.00 sec)

Rewriter插件已经实现了比较完备的重写功能，具体如何玩耍参阅官方文档。但如果你还有一些自己个性化的定义，就可能需要修改或编写自己的插件，下文简单的对新增的一些接口进行描述。

相关接口

按照写插件的国际惯例，先声明插件相关的信息，并定义好接口。QR插件是基于audit plugin的，因此声明的内容也比较类似。

声明插件定义的回调函数接口参考类st_mysql_audit，主要包括:

Name	Desc
interface_version	接口版本，用于多版本支持，定义成MYSQL_AUDIT_INTERFACE_VERSION即可
void (*release_thd)(MYSQL_THD);	回调函数，例如在执行完一条语句之后，释放当前线程占用的内存或做一些善后工作之类，在do_command函数
int (*event_notify)(MYSQL_THD, mysql_event_class_t, const void *);	主要处理函数，对于QR插件，当mysql_event_class_t为MYSQL_AUDIT_PARSE_CLASS时我们才需要去处理
unsigned long class_mask[MYSQL_AUDIT_CLASS_MASK_SIZE]	用于表示哪些事件子类型是该插件需要处理的。对于QR插件，我们主要关心两类，即MYSQL_AUDIT_PARSE_PREPARSE，还是MYSQL_AUDIT_PARSE_POSTPARSE，或者两者皆有MYSQL_AUDIT_PARSE_ALL

event_notify回调函数的第一个参数为当前的THD对象，第二个参数为触发事件类型(MYSQL_AUDIT_PARSE_CLASS)，当插件被触发时，server层会向第三个参数传递查询相关的信息，并计入插件处理(mysql_audit_notify)。对于QR类型，mysql_event_parse的第三个参数类型为mysql_event_parse，如下表所示：

Type	Name	Desc
mysql_event_parse_subclass_t	event_subclass	MYSQL_AUDIT_PARSE_PREPARSE或者MYSQL_AUDIT_PARSE_POSTPARSE
mysql_event_parse_rewrite_plugin_flag*	flags	当你对SQL进行了重写的话，需要设置该flag，告诉上层该SQL被重写
MYSQL_LEX_CSTRING	query	当前线程未修改的查询语句
MYSQL_LEX_CSTRING*	rewritten_query	用于存储重写后的SQL语句

Pre-parse

对于Pre-parse，会在解析前调用接口函数invoke_pre_parse_rewrite_plugins，对SQL进行重写，重写后的SQL单独分配内存并存储到rewritten_query中，在返回上层后，会Push一个warning（raise_query_rewritten_note），然后将当前SQL修改成重写后的SQL。上层也会负责主动将rewritten_query占用的内存释放

很显然Pre-parse的重写方式实现上非常简单，开销低，就是字符串到字符串的替换，你可以引入一些正则匹配库来做SQL匹配，并加入重写规则。但缺点也明显，由于没有拿到解析后的语法树，我们无法做到更加精准的SQL重写。

官方有个实例程序rewrite_example，你在编写自己的插件时可以参考，

Post-parse

对于Post-parse,会在SQL解析后调用invoke_post_parse_rewrite_plugins

相比Pre-parse，由于这是在解析后进行的，需要得到解析后语法数的相关对象和控制结构，而QR插件是独立于Server外的，因此MySQL又新增加了一系列的API函数接口来帮助插件方便的进行控制，参数THD是内部结构的关键入口。

主要API包含：

Service	File	Desc
Locking Service	sql/locking_service.h, sql/locking_service.cc sql/locking_service_udf.cc	实际上实现了一套新的MDL锁类型LOCKING_SERVICE，专门用于开发插件时的读写控制，支持死锁检测
Parser Service	sql/parser_service.cc include/mysql/service_parser.h	如果你尝试编写Post-parse的QR插件，这将是你需要关注的文件，提供了包括解析sql, 获取digest值，检索语法树等API
Command Service	sql/command_service.cc include/mysql/service_command.h	从Plugin中执行Command命令
Rules Table Service	sql/rules_table_service.cc	用于管理重写规则表，使用实例参考官方rewriter插件
srv_session_service	sql/srv_session_service.cc	srv_session的实现接口，目前主要用于X Plugin
srv_session_info_service	sql/srv_session_info_service.cc	用于通过srv_session获取当前线程的session信息，例如thd，是否被kill,当前use的db等等
SSL Wrapper Service	sql/ssl_wrapper_service.cc	封装了SSL相关的函数，目前主要用于X Plugin
String Service	sql/string_service.cc sql/string_service.h	封装了mysql_string相关操作给插件，例如大小写转换，字符集等
Alloc Service	include/mysql/service_mysql_alloc.h	内存操作函数

如果你想编写自己的service，官方还提供了一个指导文档

关于Parse Servcie，有几个主要接口函数：

Func	Desc
mysql_parser_get_statement_digest	获取当前SQL的digest值
mysql_parser_set_current_database	设置当前session use的database
mysql_parser_parse	对于Post-parse，在重写SQL后，需要在插件内调用该函数重新进行语法解析才能生效
mysql_parser_get_statement_type	获取当前查询的类型，是SELECT还是其他
mysql_parser_visit_tree	访问语法解析树的接口，可以参考官方插件的Rewriter::rewrite_query-->Rule::create_new_query-->Rule::create_new_query来研究如何使用

Post-parse方式相比Pre-parse更加灵活，但也带来了更多的代价，例如需要重新解析重写后的SQL，目前只支持查询语句重写。

参考文档：

Worklog #7589
Worklog #8505
plugin-services
The Query Rewrite Plugins
Write Yourself a Query Rewrite Plugin: Part 1
Write Yourself a Query Rewrite Plugin: Part 2
The Query Rewrite Plugin Interface: Writing Your Own Plugin
官方文档
Query Rewrite plugin can harm performance