mysql nosql引擎_MySQL · 引擎特性 · 像NOSQL那样使用MySQL-阿里云开发者社区

前言

最近Release的MySQL5.7.12增加了新的协议支持，通过X Plugin实现，同时增加了新的客户端API，开发者可以通过API来把MySQL作为document store的服务端，可以完成和MongoDB类似的document操作，例如支持CRUD等操作，但底层存储依然支持传统数据库的ACID，操作本身在底层也被扩展成标准SQL。从目前的MySQL来看，NOSQL和传统数据库的界限越来越小。目前这个特性还未Production Ready，建议仅用于测试环境。

本文只是记录下学习过程的笔记，不涉及任何内核实现知识。

相关概念

JSON

MySQL从5.7开始支持相对完整的JSON，并开发了完整的JSON函数(WL#7909)

Generated Column

通过表达式的方式来定义列，可以是虚拟的(查询时计算)，也可以是物理存储的(DML时变更到文件)

Document

document存储的是一堆key-value的集合，通常使用JSON来进行描述。

Colllection

用于存储Document的容器，在MySQL里表现为一张普通的InnoDB表, 每行存储一个document

CRUD操作

即四种对Document的操作，包括CREATE, READ, UPDATE, DELETE

X PLUGIN及X PROTOCOL

X PLUGIN是官方新引入的插件，需要显式安装到服务器上，主要用于处理来自X协议的请求。用户通过X DevAPI发送基于X Protocol的请求到服务器端，请求可以是异步的，也可以是同步的。

准备工作

安装：

手动编译安装MySQL5.7.12

需要安装protobuf库: yum install protobuf

启动MySQL，并安装X Plugin： INSTALL PLUGIN mysqlx SONAME 'mysqlx.so'

文档学习

以下所有的操作API你都可以从官方的文档上获取到

登录

当前shell支持三种模式：JavaScript，Python以及传统的SQL模式。对于SQL模式，你需要在启动客户端时指定--sql，如果不指定，则默认登录模式为javascript

$mysqlsh -S /u01/my57/run/mysql.sock --sql -usb test

Creating a Node Session to sb@localhost:33060/test

Enter password:

Default schema `test` accessible through db

...

然后从sql模式可以切换到别的模式：

mysql-sql> select database();

+------------+

| database() |

+------------+

| test |

+------------+

1 row in set (0.00 sec)

mysql-sql> \py

Switching to Python mode...

mysql-py>session.sql("select database()");

+------------+

| database() |

+------------+

| test |

+------------+

1 row in set (0.00 sec)

mysql-py>\js

Switching to JavaScript mode...

mysql-js> session.sql("select database()");

+------------+

| database() |

+------------+

| test |

+------------+

1 row in set (0.00 sec)

下文我们以javascript为例进行阐述。

schema操作

schema在MySQL里对应的就是一个database，包含操作如下：

/* 创建Schema */

mysql-js> session.getSchemas()

{

"information_schema": ,

"mysql": ,

"performance_schema":

}

mysql-js> session.createSchema('sb1')

mysql-js> session.createSchema('sb2')

mysql-js> session.getSchemas()

{

"information_schema": ,

"mysql": ,

"performance_schema": ,

"sb1": ,

"sb2":

}

mysql-js> session.createSchema('test')

/* 删除Schema */

mysql-js> session.dropSchema('sb1')

Query OK, 0 items affected (0.00 sec)

mysql-js> session.dropSchema('sb2')

Query OK, 0 items affected (0.00 sec)

Collection操作

相关操作：

mysql-js> db

mysql-js> db = session.getSchema('test')

/* 创建Collection */

mysql-js> db.createCollection("sbtest1")

mysql-js> db.createCollection("sbtest2")

/* 获取Collection */

mysql-js> db.getCollections()

{

"sbtest1": ,

"sbtest2":

}

/* 获取某个collection */

mysql-js> db.getCollection("sbtest1");

mysql-js> coll=db.getCollection("sbtest1");

mysql-js> coll.find()

Empty set (0.00 sec)

mysql-js> coll.add({Name: "zhai weixiang"});

Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find()

[

{

"Name": "zhai weixiang",

"_id": "944d76235812e611c867200bc7293cfa"

}

]

1 document in set (0.00 sec)

/* 删除Collection */

mysql-js> session.dropCollection('test','sbtest2');

Query OK (0.00 sec)

mysql-js> db.getCollections();

{

"sbtest1":

}

所谓的collection，在物理存储上就是一张普通的InnoDB表，并且这些表具有相同的表定义

mysql> show tables;

+----------------+

| Tables_in_test |

+----------------+

| sbtest1 |

| sbtest2 |

+----------------+

2 rows in set (0.00 sec)

mysql> show create table sbtest1\G

*************************** 1. row ***************************

Table: sbtest1

Create Table: CREATE TABLE `sbtest1` (

`doc` json DEFAULT NULL,

`_id` varchar(32) GENERATED ALWAYS AS (json_unquote(json_extract(`doc`,'$._id'))) STORED NOT NULL,

UNIQUE KEY `_id` (`_id`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

1 row in set (0.00 sec)

这个自动创建的表上包含两列：doc列的类型为JSON,另一个列为generated column, 从document的_id上提取。_id由MySQL自动生成，你可以显式指定，但需要保证唯一性。

document操作

完整的CRUD的执行见官方文档图示，以下仅尝试了下简单的操作

/* 创建document */

mysql-js> db = session.getSchema('test')

mysql-js> coll=db.getCollection("sbtest1");

mysql-js> coll.add({Name: "zhai weixiang"});

Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find()

[

{

"Name": "zhai weixiang",

"_id": "da3f9cb56712e61154d7200bc7293cfa"

}

]

1 document in set (0.00 sec)

mysql-js> coll.add({'name': 'zhai', 'age': 18})

Query OK, 1 item affected (0.00 sec)

mysql-js> coll.add([ {'name': 'zhaiwx', 'age': 17},{'name': 'zhaiweixiang', 'age': 16} ])

Query OK, 2 items affected (0.00 sec)

mysql-js> coll.find()

[

{

"_id": "4ccd04526812e61154d7200bc7293cfa",

"age": 16,

"name": "zhaiweixiang"

},

{

"_id": "b2cb04526812e61154d7200bc7293cfa",

"age": 17,

"name": "zhaiwx"

},

{

"_id": "c84e9a3c6812e61154d7200bc7293cfa",

"age": 18,

"name": "zhai"

},

{

"Name": "zhai weixiang",

"_id": "da3f9cb56712e61154d7200bc7293cfa"

}

]

4 documents in set (0.00 sec)

/* 查询Document */

mysql-js> coll.find('age < 18')

[

{

"_id": "4ccd04526812e61154d7200bc7293cfa",

"age": 16,

"name": "zhaiweixiang"

},

{

"_id": "b2cb04526812e61154d7200bc7293cfa",

"age": 17,

"name": "zhaiwx"

}

]

2 documents in set (0.00 sec)

/* 更新Document */

mysql-js> coll.modify("name = 'zhaiweixiang'").set("age",22)

Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = 'zhaiweixiang'")

[

{

"_id": "4ccd04526812e61154d7200bc7293cfa",

"age": 22,

"name": "zhaiweixiang"

}

]

1 document in set (0.00 sec)

/* 删除Document */

mysql-js> coll.remove("name = 'zhaiweixiang'")

Query OK, 1 item affected (0.00 sec)

mysql-js> coll.find("name = 'zhaiweixiang'")

Empty set (0.00 sec)

/* 创建索引 */

mysql-js> coll.createIndex("_age").field("age", "INTEGER", false).execute()

Query OK (0.19 sec)

/*上述语句在服务器端执行时转换成SQL:

ALTER TABLE `test`.`sbtest1` ADD COLUMN ` $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C` INTEGER GENERATED ALWAYS AS (JSON_EXTRACT(doc, '$.age')) VIRTUAL , ADD INDEX `_age` (` $ix_i_F177B50B40803DD7D3962E25071AC5CAA3D1139C`)

会创建出一个虚拟列，并基于其上建立二级索引

*/

/* 删除索引，会将索引和虚拟列同时删除 */

mysql-js> coll.dropIndex("_age").execute()

Query OK (0.18 sec)

/* 支持事务操作，可以通过如下3个接口开启、提交、回滚事务 */

mysql-js> session.startTransaction()

Query OK, 0 items affected (0.00 sec)

mysql-js> session.commit()

Query OK, 0 items affected (0.00 sec)

mysql-js> session.rollback()

Query OK, 0 items affected (0.00 sec)

关系表操作

除了操作JSON外，你还可以通过新的命令行shell来进行其他表的操作。

/* 在普通的终端下创建一张表 */

create table t1 (a int, b int);

/* 查询表 */

mysql-js> tb = db.getTable('t1')

/* 插入数据 */

mysql-js> tb.insert().values(1,2)

Query OK, 1 item affected (0.00 sec)

mysql-js> tb.insert('a','b').values(2,3)

Query OK, 1 item affected (0.01 sec)

/* 查询数据 */

mysql-js> tb.select(['a', 'a + b']).where ('b < :b').bind('b',10).execute()

+---+-------------+

| a | (`a` + `b`) |

+---+-------------+

| 1 | 3 |

| 2 | 5 |

+---+-------------+

2 rows in set (0.00 sec)

/**

实际在服务器端执行的SQL为

SELECT `a`,(`a` + `b`) FROM `test`.`t1` WHERE (`b` < 10)

*/