MySQL · 引擎特性 · 像NOSQL那样使用MySQL

前言

最近Release的MySQL5.7.12增加了新的协议支持，通过X Plugin实现，同时增加了新的客户端API，开发者可以通过API来把MySQL作为document store的服务端，可以完成和MongoDB类似的document操作，例如支持CRUD等操作，但底层存储依然支持传统数据库的ACID，操作本身在底层也被扩展成标准SQL。从目前的MySQL来看，NOSQL和传统数据库的界限越来越小。目前这个特性还未Production Ready，建议仅用于测试环境。

本文只是记录下学习过程的笔记，不涉及任何内核实现知识。

相关概念

JSON
MySQL从5.7开始支持相对完整的JSON，并开发了完整的JSON函数(WL#7909)

Generated Column
通过表达式的方式来定义列，可以是虚拟的（查询时计算），也可以是物理存储的（DML时变更到文件）

Document
document存储的是一堆key-value的集合，通常使用JSON来进行描述。

Colllection
用于存储Document的容器，在MySQL里表现为一张普通的InnoDB表, 每行存储一个document

CRUD操作
即四种对Document的操作，包括CREATE, READ, UPDATE, DELETE

X PLUGIN及X PROTOCOL
X PLUGIN是官方新引入的插件，需要显式安装到服务器上，主要用于处理来自X协议的请求。用户通过X DevAPI发送基于X Protocol的请求到服务器端，请求可以是异步的，也可以是同步的。

准备工作

安装：

1. 手动编译安装MySQL5.7.12
2. 需要安装protobuf库: yum install protobuf
3. 下载新的命令行shell并安装
4. 启动MySQL，并安装X Plugin： INSTALL PLUGIN mysqlx SONAME 'mysqlx.so'

文档学习

1. X DevAPI用户手册
2. 新的命令行Shell文档
3. 官方文档
4. 官方Youtube视频
5. X Plugin的Worklog WL#8338

6. 官方博客系列文章:

   • More than a Maintenance Release
   • MySQL 5.7.12 – Part 2: Improving the MySQL Protocol
   • MySQL 5.7.12 – Part 3: More Than “Just” SQL?
   • MySQL 5.7.12 – Part 4: A new MySQL Command Line Shell
   • MySQL 5.7.12 – Part 5: Connector/Node.js
   • MySQL 5.7.12 – Part 6: MySQL Document Store – A New Chapter in the MySQL Story

以下所有的操作API你都可以从官方的文档上获取到

登录

当前shell支持三种模式：JavaScript，Python以及传统的SQL模式。对于SQL模式，你需要在启动客户端时指定--sql，如果不指定，则默认登录模式为javascript

$mysqlsh  -S /u01/my57/run/mysql.sock --sql -usb test
Creating a Node Session to sb@localhost:33060/test
Enter password:
Default schema `test` accessible through db
...

然后从sql模式可以切换到别的模式：
mysql-sql> select database();
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

mysql-sql> \py
Switching to Python mode...
mysql-py>session.sql("select database()");
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

mysql-py>\js
Switching to JavaScript mode...
mysql-js> session.sql("select database()");
+------------+
| database() |
+------------+
| test       |
+------------+
1 row in set (0.00 sec)

下文我们以javascript为例进行阐述。

schema操作

schema在MySQL里对应的就是一个database，包含操作如下：

/* 创建Schema */
mysql-js> session.getSchemas()
{
    "information_schema": <Schema:information_schema>,
    "mysql": <Schema:mysql>,
    "performance_schema": <Schema:performance_schema>
}
mysql-js> session.createSchema('sb1')
<Schema:sb1>
mysql-js> session.createSchema('sb2')
<Schema:sb2>
mysql-js> session.getSchemas()
{
    "information_schema": <Schema:information_schema>,
    "mysql": <Schema:mysql>,
    "performance_schema": <Schema:performance_schema>,
    "sb1": <Schema:sb1>,
    "sb2": <Schema:sb2>
}

mysql-js> session.createSchema('test')
<Schema:test>

/* 删除Schema */
mysql-js> session.dropSchema('sb1')
Query OK, 0 items affected (0.00 sec)

mysql-js> session.dropSchema('sb2')
Query OK, 0 items affected (0.00 sec)

Collection操作

相关操作：

mysql-js> db
<Schema:test>
mysql-js> db = session.getSchema('test')
<Schema:test>

/* 创建Collection */
mysql-js> db.createCollection("sbtest1")
<Collection:sbtest1>
mysql-js> db.createCollection("sbtest2")
<Collection:sbtest2>

/* 获取Collection */
mysql-js> db.getCollections()
{
    "sbtest1": <Collection:sbtest1>,
    "sbtest2": <Collection:sbtest2>
}

/* 获取某个collection */
mysql-js> db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll=db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll.find()
Empty set (0.00 sec)
mysql-js> coll.add({Name: "zhai weixiang"});
Query OK, 1 item affected (0.00 sec)
mysql-js> coll.find()
[
    {
        "Name": "zhai weixiang",
        "_id": "944d76235812e611c867200bc7293cfa"
    }
]
1 document in set (0.00 sec)

/* 删除Collection */
mysql-js> session.dropCollection('test','sbtest2');
Query OK (0.00 sec)

mysql-js> db.getCollections();
{
    "sbtest1": <Collection:sbtest1>
}

所谓的collection，在物理存储上就是一张普通的InnoDB表，并且这些表具有相同的表定义

mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| sbtest1        |
| sbtest2        |
+----------------+
2 rows in set (0.00 sec)

mysql> show create table sbtest1\G
*************************** 1. row ***************************
       Table: sbtest1
Create Table: CREATE TABLE `sbtest1` (
  `doc` json DEFAULT NULL,
  `_id` varchar(32) GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,'$._id'))) STORED NOT NULL,
  UNIQUE KEY `_id` (`_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
1 row in set (0.00 sec)

这个自动创建的表上包含两列：doc列的类型为JSON,另一个列为generated column, 从document的_id上提取。_id由MySQL自动生成，你可以显式指定，但需要保证唯一性。

document操作

完整的CRUD的执行见官方文档图示，以下仅尝试了下简单的操作

/* 创建document */
mysql-js> db = session.getSchema('test')
<Schema:test>
mysql-js> coll=db.getCollection("sbtest1");
<Collection:sbtest1>
mysql-js> coll.add({Name: "zhai weixiang"});
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find()
[
    {
        "Name": "zhai weixiang",
        "_id": "da3f9cb56712e61154d7200bc7293cfa"
    }
]
1 document in set (0.00 sec)

mysql-js> coll.add({'name': 'zhai', 'age': 18})
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.add([ {'name': 'zhaiwx', 'age': 17},{'name': 'zhaiweixiang', 'age': 16} ])
Query OK, 2 items affected (0.00 sec)

mysql-js> coll.find()
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 16,
        "name": "zhaiweixiang"
    },
    {
        "_id": "b2cb04526812e61154d7200bc7293cfa",
        "age": 17,
        "name": "zhaiwx"
    },
    {
        "_id": "c84e9a3c6812e61154d7200bc7293cfa",
        "age": 18,
        "name": "zhai"
    },
    {
        "Name": "zhai weixiang",
        "_id": "da3f9cb56712e61154d7200bc7293cfa"
    }
]
4 documents in set (0.00 sec)

/* 查询Document */
mysql-js> coll.find('age < 18')
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 16,
        "name": "zhaiweixiang"
    },
    {
        "_id": "b2cb04526812e61154d7200bc7293cfa",
        "age": 17,
        "name": "zhaiwx"
    }
]
2 documents in set (0.00 sec)


/* 更新Document */
mysql-js> coll.modify("name = 'zhaiweixiang'").set("age",22)
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = 'zhaiweixiang'")
[
    {
        "_id": "4ccd04526812e61154d7200bc7293cfa",
        "age": 22,
        "name": "zhaiweixiang"
    }
]
1 document in set (0.00 sec)

/* 删除Document */
mysql-js> coll.remove("name = 'zhaiweixiang'")
Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = 'zhaiweixiang'")
Empty set (0.00 sec)


/* 创建索引 */
mysql-js> coll.createIndex("_age").field("age", "INTEGER", false).execute()
Query OK (0.19 sec)

/*上述语句在服务器端执行时转换成SQL:
    ALTER TABLE `test`.`sbtest1` ADD COLUMN `    $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C` INTEGER GENERATED ALWAYS AS     (JSON_EXTRACT(doc, '$.age')) VIRTUAL , ADD INDEX `_age` (`    $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C`) 

    会创建出一个虚拟列，并基于其上建立二级索引
*/

/* 删除索引，会将索引和虚拟列同时删除 */
mysql-js> coll.dropIndex("_age").execute()
Query OK (0.18 sec)

/* 支持事务操作，可以通过如下3个接口开启、提交、回滚事务 */
mysql-js> session.startTransaction()
Query OK, 0 items affected (0.00 sec)
mysql-js> session.commit()
Query OK, 0 items affected (0.00 sec)
mysql-js> session.rollback()
Query OK, 0 items affected (0.00 sec)

关系表操作

除了操作JSON外，你还可以通过新的命令行shell来进行其他表的操作。

/* 在普通的终端下创建一张表 */
create table t1 (a int, b int);

/* 查询表 */
mysql-js> tb = db.getTable('t1')
<Table:t1>

/* 插入数据 */
mysql-js> tb.insert().values(1,2)
Query OK, 1 item affected (0.00 sec)

mysql-js> tb.insert('a','b').values(2,3)
Query OK, 1 item affected (0.01 sec)

/* 查询数据 */
mysql-js> tb.select(['a', 'a + b']).where ('b < :b').bind('b',10).execute()
+---+-------------+
| a | (`a` + `b`) |
+---+-------------+
| 1 |           3 |
| 2 |           5 |
+---+-------------+
2 rows in set (0.00 sec)

/**
实际在服务器端执行的SQL为
SELECT `a`,(`a` + `b`) FROM `test`.`t1` WHERE (`b` < 10)
*/