分布式专题-数据库分库分表之Mycat02-MyCat入门

前言

在分布式专题的开篇，我们曾提到，如今成熟的互联网架构，对于分库分表的应用必不可少！

上一节，我们主要讲述了数据库性能优化方案，本节我们就来认识一下MyCat！

MyCat共计分为三节，分别是：

• 数据库性能优化方案
• MyCat入门
• MyCat高可用

本节重点：

➢ 掌握 Mycat 详细配置含义
➢ 掌握不同数据分片策略的配置方式与特点
➢ ​了解 Mycat 监控与日志查看

Mycat 概念与配置

官网
Mycat 概要介绍
入门指南

Mycat 介绍与核心概念

基本介绍

历史：从阿里cobar 升级而来，由开源组织维护，2.0 正在开发中。
定位：运行在应用和数据库之间，可以当做一个 MySQL 服务器使用，实现对 MySQL 数据库的分库分表，也可以通过JDBC 支持其他的数据库。

Mycat 的关键特性（官网首页）

1. 可以当做一个MySQL 数据库来使用
2. 支持MySQL 之外的数据库，通过JDBC 实现
3. 解决了我们提到的所有问题，多表 join、分布式事务、全局序列号、翻页排
   序
4. 支持ZK 配置，带监控 mycat-web
5. Mycat 2.0

核心概念

这里以上节的实验配置为例：

Linux1：192.168.200.111 、端口3306为MySql服务
Linux2：192.168.200.112、端口3306为MySql服务
Linux3：192.168.200.113、端口3306为MySql服务、端口8066为MyCat服务

当我们直接访问192.168.200.113机器8066端口的时候，通过Mycat配置文件生成的逻辑表就可以实现对于不同数据库的管理，资源分配与访问。

对于MyCat的整体逻辑涉及到的相关概念总结如下：

概念	含义
主机	物理主机，一台服务器，一个数据库服务，一个 3306 端口
物理数据库	真实的数据库，例如 111、112、113的数据库
物理表	真实的表，例如 111、112、113的数据库的 order_info 表
分片	将原来单个数据库的数据切分后分散存储在不同的数据库节点
分片节点	分片以后数据存储的节点
分片键	分片依据的字段，例如 order_info 表以 id 为依据分片,id 就是分片键，通常是主键
分片算法	分片的规则，例如随机、取模、范围、哈希、枚举以及各种组合算法
逻辑表	相对于物理表，是分片表聚合后的结果，对于客户端来说跟真实的表没有区别
逻辑数据库	相对于物理数据库，是数据节点聚合后的结果，例如 catmall

下载、解压Mycat（有Windows 版本，可以在本地数据库测试）
http://dl.mycat.io/

Mycat 配置详解

主要的配置文件server.xml、schema.xml、rule.xml 和具体的分片配置文件。

坑非常多，配置错误会导致无法启动，这个时候要看日志！
注意备份，不知道什么时候就跑不起来了……

server.xml

包含系统配置信息。
system 标签：例如字符集、线程数、心跳、分布式事务开关等等。
user 标签：配置登录用户和权限。

<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">catmall</property>
</user>

mycat 对密码加密：

java -cp xxx-mycat.jar io.mycat.util.DecryptUtil 0:root:123456

schema.xml

https://dev.mysql.com/doc/refman/5.7/en/glossary.html#glos_schema
schema 在MySQL 里面跟数据库是等价的。
schema.xml 包括逻辑库、表、分片规则、分片节点和数据源，可以定义多个 schema。这里面有三个主要的标签（table、dataNode、dataHost）：

table

表名和库名最好都用小写
定义了逻辑表，以及逻辑表分布的节点和分片规则：

<schema name="catmall" checkSQLschema="false" sqlMaxLimit="100">
<!-- 范围分片 -->
<table name="customer" primaryKey="id" dataNode="dn1,dn2,dn3" rule="rang-long-cust" />
<!-- 取模分片 -->
<table name="order_info" dataNode="dn1,dn2,dn3" rule="mod-long-order" >
<!-- ER 表 -->
<childTable name="order_detail" primaryKey="id" joinKey="order_id" parentKey="order_id"/>
</table>
<!-- 全局表 -->
<table name="student" primaryKey="sid" type="global" dataNode="dn1,dn2,dn3" />
</schema>

配置	作用
primaryKey	指定该逻辑表对应真实表的主键。MyCat 会缓存主键（通过 primaryKey 属性配置）与具体 dataNode 的信息。当分片规则（rule）使用非主键进行分片时，那么在使用主键进行查询时，MyCat 就会通过缓存先确定记录在哪个 dataNode 上，然后再在该 dataNode 上执行查询。如果没有缓存/缓存并没有命中的话，还是会发送语句给所有的 dataNode。
dataNode	数据分片的节点
autoIncrement	自增长（全局序列），true 代表主键使用自增长策略
type	全局表：global。其他：不配置

dataNode

<dataNode name="dn1" dataHost="host1" database="cat" />

数据节点与物理数据库的对应关系。

dataHost

配置物理主机的信息，readhost 是从属于writehost 的。

<dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="localhost:3306" user="root" password="123456">
<!-- can have multi read hosts -->
<readHost host="hostS2" url="192.168.8.146:3306" user="root" password="xxx"/>
</writeHost>
<writeHost host="hostS1" url="localhost:3316" user="root" password="123456"/>
<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
</dataHost>

balance：负载的配置，决定select 语句的负载

值	作用
0	不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。
1	所有读操作都随机发送到当前的 writeHost 对应的 readHost 和备用的 writeHost
2	所有的读操作都随机发送到所有的 writeHost,readHost 上
3	所有的读操作都只发送到 writeHost 的 readHost 上

writeType：读写分离的配置，决定update、delete、insert 语句的负载

值	作用
0	所有写操作都发送到可用的 writeHost 上（默认第一个，第一个挂了以后发到第二个）
1	所有写操作都随机的发送到 writeHost

switchType：主从切换配置

值	作用
-1	表示不自动切换
1	默认值，表示自动切换
2	基于 MySQL 主从同步的状态决定是否切换,心跳语句为 show slave status
3	基于MySQL galary cluster 的切换机制（适合集群）（1.4.1），心跳语句为 show status like 'wsrep%'

rule.xml

定义了分片规则和算法

分片规则：

<tableRule name="rang-long-cust">
<rule>
<columns>id</columns>
<algorithm>func-rang-long-cust</algorithm>
</rule>
</tableRule>

分片算法：

<function name="func-rang-long-cust" class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">rang-long-cust.txt</property>
</function>

分片配置：rang-long-cust.txt

10001-20000=1
0-10000=0
20001-100000=2

ZK 配置

https://www.cnblogs.com/leeSmall/p/9551038.html

Mycat 也支持 ZK 配置（ 用于管理配置和生成全局 ID ） ， 执行 bin 目录下
init_zk_data.sh,会自动将 zkconf 下的所有配置文件上传到 ZK（先拷贝到这个目录）。

cd /usr/local/soft/mycat/conf
cp *.txt *.xml *.properties zkconf/

cd /usr/local/soft/mycat/bin
./init_zk_data.sh

启 用 ZK 配 置 ： mycat/conf/myid.properties

loadZk=true zkURL=127.0.0.1:2181
clusterId=010 myid=01001 clusterSize=1
clusterNodes=mycat_gp_01
#server booster ;	booster install on db same server,will reset all minCon to 2 type=server
boosterDataHosts=dataHost1

注意如果执行 init_zk_data.sh 脚本报错的话，代表未写入成功，此时不要启用 ZK 配置并重启，否则本地文件会被覆盖。
启动时如果 loadzk=true 启动时，会自动从zk 下载配置文件覆盖本地配置。
在这种情况下如果修改配置，需要先修改conf 目录的配置，copy 到zkconf，再执行上传。

启动停止

进入mycat/bin 目录（注意要先启动物理数据库）

操作	命令
启动	./mycat start
停止	./mycat stop
重启	./mycat restart
查看状态	./mycat status
前台运行	./mycat console

Mycat 分片验证

explain 可以用来看路由结果，现在我们

1. 在三个数据库中建表：customer、order_info、order_detail、student。（sql脚本请参考文末）

2. 配置数据节点

<dataNode name="dn1" dataHost="host1" database="cat"/>
<dataNode name="dn2" dataHost="host2" database="cat"/>
<dataNode name="dn3" dataHost="host3" database="gpcat"/>

<dataHost balance="0" maxCon="1000" minCon="10" name="host1" writeType="0" switchType="1" slaveThreshold="100" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.200.111:3306" password="123456" user="root"/>
</dataHost>

<dataHost balance="0" maxCon="1000" minCon="10" name="host2" writeType="0" switchType="1" slaveThreshold="100" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.200.112:3306" password="123456" user="root"/>
</dataHost>

<dataHost balance="0" maxCon="1000" minCon="10" name="host3" writeType="0" switchType="1" slaveThreshold="100" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="192.168.200.113:3306" password="123456" user="root"/>
</dataHost>

范围分片

<tableRule name="rang-long-cust">
<rule>
<columns>id</columns>
<algorithm>rang-long-cust</algorithm>
</rule>
</tableRule>

<function name="rang-long-cust" class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">rang-long-cust.txt</property>
</function>

customer

INSERT INTO `customer` (`id`, `name`) VALUES (6666, '赵先生');
INSERT INTO `customer` (`id`, `name`) VALUES (7777, '钱先生'); 
INSERT INTO `customer` (`id`, `name`) VALUES (16666, '孙先生'); 
INSERT INTO `customer` (`id`, `name`) VALUES (17777, '李先生'); 
INSERT INTO `customer` (`id`, `name`) VALUES (26666, '周先生'); 
INSERT INTO `customer` (`id`, `name`) VALUES (27777, '吴先生');

取模分片（ER片）

order_info

<tableRule name="mod-long-order">
<rule>
<columns>order_id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>

<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<property name="count">3</property>
</function>

INSERT INTO `order_info` (`order_id`, `uid`, `nums`, `state`, `create_time`, `update_time`) VALUES (1, 1000001, 1, 2, '2021-1-23 14:35:37', '2021-1-23 14:35:37');
INSERT INTO `order_info` (`order_id`, `uid`, `nums`, `state`, `create_time`, `update_time`) VALUES (2, 1000002, 1, 2, '2021-1-24 14:35:37', '2021-1-24 14:35:37');
INSERT INTO `order_info` (`order_id`, `uid`, `nums`, `state`, `create_time`, `update_time`) VALUES (3, 1000003, 3, 1, '2021-1-25 11:35:49', '2021-1-25 11:35:49');

order_detail

INSERT INTO `order_detail` (`order_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (3, 20210001, 85114752, 19.99, 1, 1, 1);
INSERT INTO `order_detail` (`order_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (1, 20210002, 25411251, 1280.00, 1, 1, 0);
INSERT INTO `order_detail` (`order_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (1, 20210003, 62145412, 288.00, 1, 1, 2);
INSERT INTO `order_detail` (`order_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (2, 20210004, 21456985, 399.00, 1, 1, 2);
INSERT INTO `order_detail` (`order_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (2, 20210005, 21457452, 1680.00, 1, 1, 2);
INSERT INTO `order_detail` (`order_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (2, 20210006, 65214789, 9999.00, 1, 1, 3);

全局表

student

<table name="student" dataNode="dn1,dn2,dn3" primaryKey="sid" type="global"/>

INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (1, ' 黑 白 ', '166669999'); 
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (2, 'AV 哥 ', '466669999'); 
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (3, '最强菜鸟', '368828888'); 
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (4, '加载中', '655556666'); 
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (5, '猫老公', '265286999');
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (6, '一个人的精彩', '516895555');

MyCat全局ID

Mycat 全局序列实现方式主要有 4 种：本地文件方式、数据库方式、本地时间戳算法、ZK。也可以自定义业务序列。
注意获取全局ID 的前缀都是：MYCATSEQ_

文件方式

配置文件server.xml sequnceHandlerType 值：

• 0 ：文件
• 1 ：数据库
• 2 ：本地时间戳
• 3 ：ZK

<property name="sequnceHandlerType">0</property>

文件方式，配置conf/sequence_conf.properties

CUSTOMER.HISIDS= 
CUSTOMER.MINID=10000001 
CUSTOMER.MAXID=20000000 
CUSTOMER.CURID=10000001

语法：select next value for MYCATSEQ_CUSTOMER

INSERT INTO `customer` (`id`, `name`) VALUES (next value for MYCATSEQ_CUSTOMER, 'zhangsan');

优点：本地加载，读取速度较快。
缺点：当 Mycat 重新发布后，配置文件中的 sequence 需要替换。Mycat 不能做集群部署。

数据库方式

<property name="sequnceHandlerType">1</property>

配置： sequence_db_conf.properties 把这张表创建在 146 上，所以是dn1

#sequence stored in datanode
GLOBAL=dn1 
CUSTOMER=dn1

在第一个数据库节点上创建MYCAT_SEQUENCE 表：

DROP TABLE IF EXISTS MYCAT_SEQUENCE; CREATE TABLE MYCAT_SEQUENCE (
name VARCHAR(50) NOT NULL,
current_value INT NOT NULL, 
increment INT NOT NULL DEFAULT 1, 
remark varchar(100),
PRIMARY KEY(name)) ENGINE=InnoDB;

注：可以在schema.xml 配置文件中配置这张表，供外部访问。

<table name="mycat_sequence" dataNode="dn1" autoIncrement="true" primaryKey="id"></table>

创建存储过程——获取当前sequence 的值

DROP FUNCTION IF EXISTS `mycat_seq_currval`; DELIMITER ;;
CREATE DEFINER=`root`@`%` FUNCTION `mycat_seq_currval`(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET latin1
DETERMINISTIC BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT concat(CAST(current_value AS CHAR),",",CAST(increment AS CHAR) ) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name;
RETURN retval ; END
;; DELIMITER ;

创建存储过程，获取下一个sequence

DROP FUNCTION IF EXISTS `mycat_seq_nextval`; 
DELIMITER ;;
CREATE DEFINER=`root`@`%`
 FUNCTION `mycat_seq_nextval`(seq_name VARCHAR(50))
RETURNS varchar(64) CHARSET latin1
DETERMINISTIC BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment
 WHERE name = seq_name; RETURN mycat_seq_currval(seq_name);
END
;; DELIMITER ;

创建存储过程，设置sequence

DROP FUNCTION IF EXISTS `mycat_seq_setval`;
 DELIMITER ;;
CREATE DEFINER=`root`@`%` FUNCTION `mycat_seq_setval`(seq_name VARCHAR(50),
 value INTEGER) RETURNS varchar(64) CHARSET latin1
DETERMINISTIC BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = value WHERE name = seq_name;
RETURN mycat_seq_currval(seq_name); END
;; DELIMITER ;

插入记录

INSERT INTO MYCAT_SEQUENCE(name,current_value,increment,remark) VALUES ('GLOBAL', 1, 100,'');
INSERT INTO MYCAT_SEQUENCE(name,current_value,increment,remark) VALUES ('ORDERS', 1, 100,'订单表使用');

测试

select next value for MYCATSEQ_ORDERS

本地时间戳方式

ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加) ，长度为
18 位

<property name="sequnceHandlerType">2</property>

配置文件sequence_time_conf.properties

#sequence depend on TIME 
WORKID=01 
DATAACENTERID=01

验证：select next value for MYCATSEQ_GLOBAL

ZK 方式

修改conf/myid.properties
设置loadZk=true（启动时会从 ZK 加载配置，一定要注意备份配置文件，并且先用bin/init_zk_data.sh,把配置文件写入到ZK）

<property name="sequnceHandlerType">3</property>

配置文件：sequence_distributed_conf.properties

# 代表使用zk 
INSTANCEID=ZK
# 与myid.properties 中的CLUSTERID 设置的值相同
CLUSTERID=010

复制配置文件

cd /usr/local/soft/mycat/conf
cp *.txt *.xml *.properties zkconf/ 
chown -R zkconf/
cd /usr/local/soft/mycat/bin
./init_zk_data.sh

验证：select next value for MYCATSEQ_GLOBAL

使用

在schema.xml 的table 标签上配置 autoIncrement=“true”，不需要获取和指定序列的情况下，就可以使用全局ID 了。

Mycat 监控与日志查看

监控

命令行监控

连接到管理端口 9066，注意必须要带 IP

mysql -uroot -h127.0.0.1 -p123456 -P9066

全部命令：

mysql>show @@help;

命令行监控 mycatweb 监控

https://github.com/MyCATApache/Mycat-download/tree/master/mycat-web-1.0

Mycat-eye 是mycat 提供的一个监控工具，它依赖于ZK。本地必须要运行一个ZK，必须先启动ZK。
参考：https://gper.club/articles/7e7e7f7ff7g59gc3g64

下载mycat-web

cd /usr/local/soft
wget http://dl.mycat.io/mycat-web-1.0/Mycat-web-1.0-SNAPSHOT-20210102153329-linux.tar.gz tar -xzvf Mycat-web-1.0-SNAPSHOT-20210102153329-linux.tar.gz

启动mycat-web

cd mycat-web nohup 
./start.sh &

停止：kill start.jar 相关的进程
访 问 端 口 8082

http://192.168.200.113:8082/mycat/

mycat server.xml 配置

<!-- 1 为开启实时统计、0 为关闭 -->
<property name="useSqlStat">1</property>

重启mycat 服务生效

日志

log4j 的level 配置要改成debug

wrapper.log 日志

wrapper 日志：mycat 启动，停止，添加为服务等都会记录到此日志文件，如果系统环境配置错误或缺少配置时，导致 Mycat 无法启动，可以通过查看 wrapper.log 定位具体错误原因。

mycat.log 日志

mycat.log 为 mycat 主要日志文件，记录了启动时分配的相关 buffer 信息，数据源连接信息，连接池，动态类加载信息等等。
在conf/log4j2.xml 文件中进行相关配置，如保留个数，大小，字符集，日志文件大小等。
以select 为例。

后记

CREATE TABLE `customer` (
`id` int(11) DEFAULT NULL,
`name` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `order_info` (
`order_id` int(11) NOT NULL COMMENT '订单ID',
`uid` int(11) DEFAULT NULL COMMENT '用户ID',
`nums` int(11) DEFAULT NULL COMMENT '商品数量',
`state` int(2) DEFAULT NULL COMMENT '订单状态',
`create_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '创建时间',
`update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间', PRIMARY KEY (`order_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `order_detail` (
`order_id` int(11) NOT NULL COMMENT '订单号',
`id` int(11) NOT NULL COMMENT '订单详情',
`goods_id` int(11) DEFAULT NULL COMMENT '货品ID',
`price` decimal(10,2) DEFAULT NULL COMMENT '价格',
`is_pay` int(2) DEFAULT NULL COMMENT '支付状态',
`is_ship` int(2) DEFAULT NULL COMMENT '是否发货',
`status` int(2) DEFAULT NULL COMMENT '订单详情状态', PRIMARY KEY (`order_id`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `student` (
`sid` int(8) NOT NULL AUTO_INCREMENT,
`name` varchar(255) DEFAULT NULL,
`qq` varchar(255) DEFAULT NULL, PRIMARY KEY (`sid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

更多架构知识，欢迎关注本套Java系列文章：Java架构师成长之路