一. 入门概述
1.1. Mycat是什么
Mycat 是数据库中间件。
1.1.1. 数据库中间件
中间件:是一类连接软件组件和应用的计算机软件,以便于软件各部件之间的沟通。
例子:Tomcat,web中间件。
数据库中间件:连接java应用程序和数据库。
1.1.2. 为什么要用Mycat?
① Java与数据库紧耦合。
② 高访问量高并发对数据库的压力。
③ 读写请求数据不一致。
1.1.3. 数据库中间件对比
数据库中间件(天上飞的理念,地上落地的实现)
中间件 | 实现 |
---|---|
Cobar | 阿里团队开发,已多年无维护更新 |
Mycat | 基于Cobar二次开发,开源社区维护 |
OneProxy | 不开源的商业中间件 |
Kingshard | go语言开发,在不断的完善 |
vitess | Youtube生产在使用,不支持Mysql原生协议 |
Atlas | 360基于MysqlProxy改写,高并发下不稳定 |
MaxScale | MaxScale是mariadb研发的中间件 |
MysqlRoute | MysqlRoute是Mysql官方oracle公司发布的中间件 |
1.1.4. Mycat的官网
1.2. Mycat干什么
1.2.1. 读写分离
1.2.2. 数据分片
垂直拆分(分库)、水平拆分(分表)、垂直+水平拆分(分库分表)
1.2.3. 多数据源整合
1.3. 原理
Mycat 的原理中最重要的一个动词是“拦截”,它拦截了用户发送过来的 SQL 语句,首先对 SQL语句做了一些特定的分析:如分片分析、路由分析、读写分离分析、缓存分析等,然后将此 SQL 发往后端的真实数据库,并将返回的结果做适当的处理,最终再返回给用户。
这种方式把数据库的分布式从代码中解耦出来,程序员察觉不出来后台使用 Mycat 还是MySQL。
二. 安装启动
2.1. 安装
2.1.1. 解压后即可使用
解压缩文件拷贝到 linux 下 /usr/local/
tar -zxvf Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz
cp -r mycat /usr/local
2.1.2. 三个配置文件
①schema.xml:定义逻辑库,表、分片节点等内容
②rule.xml:定义分片规则
③server.xml:定义用户以及系统相关变量,如端口等
2.2. 启动
2.2.1. 修改配置文件server.xml
<user name="mycat" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">TESTDB</property>
</user>
2.2.2. 修改配置文件 schema.xml
删除标签间的表信息,标签只留一个,标签只留一个,只留一对
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
</schema>
<dataNode name="dn1" dataHost="host1" database="MYSQLTEST" />
<dataHost name="host1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.201.128:3306" user="root"
password="123456">
<readHost host="hostS1" url="192.168.201.129:3306" user="root"
password="123456" />
</writeHost>
</dataHost>
</mycat:schema>
2.2.3. 验证数据库访问情况
Mycat 作为数据库中间件要和数据库部署在不同机器上,所以要验证远程访问情况。
mysql -uroot -p123456 -h 192.168.201.128 -P 3306
mysql -uroot -p123456 -h 192.168.201.129 -P 3306
#如远程访问报错,请建对应用户
grant all privileges on *.* to root@'缺少的host' identified by '123456';
2.2.4. 启动程序
①控制台启动 :去 mycat/bin 目录下执行 ./mycat console
②后台启动 :去 mycat/bin 目录下 ./mycat start
为了能第一时间看到启动日志,方便定位问题,我们选择①控制台启动。
2.2.5. 启动时可能出现报错
如果操作系统是 CentOS6.8,可能会出现域名解析失败错误,如下图
可以按照以下步骤解决:
① 用 vim 修改 /etc/hosts 文件,在 127.0.0.1 后面增加你的机器名
② 修改后重新启动网络服务
注意:启动Mycat必须安装JDK
2.3. 登录
2.3.1. 登录后台管理窗口
此登录方式用于管理维护 Mycat
mysql -umycat -p123456 -P 9066 -h 192.168.201.128
#常用命令如下:
show database;
show @@help;
2.3.2. 登录数据窗口
此登录方式用于通过 Mycat 查询数据,我们选择这种方式访问 Mycat
mysql -umycat -p123456 -P 8066 -h 192.168.201.128
三. 搭建读写分离
我们通过 Mycat 和 MySQL 的主从复制配合搭建数据库的读写分离,实现 MySQL 的高可用性。我们将搭建:一主一从、双主双从两种读写分离模式。
3.1. 搭建一主一从
一个主机用于处理所有写请求,一台从机负责所有读请求,架构图如下
3.1.1. 搭建 MySQL 数据库主从复制
在MySQL35-主从复制中有写。
3.1.2. 修改 Mycat 的配置文件 schema.xml
之前的配置已分配了读写主机,是否已实现读写分离?
验证读写分离:
(1)在写主机插入:insert into mytbl values (1,@@hostname);
主从主机数据不一致了
(2)在Mycat里查询:select * from mytbl;
修改的balance属性,通过此属性配置读写分离的类型
负载均衡类型,目前的取值有4 种:
(1)balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。
(2)balance="1",全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从
模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。
(3)balance="2",所有读操作都随机的在 writeHost、readhost 上分发。
(4)balance="3",所有读请求随机的分发到 readhost 执行,writerHost 不负担读压力
为了能看到读写分离的效果,把balance设置成2,会在两个主机间切换查询
<dataHost name="host1" maxCon="1000" minCon="10" balance="2"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"
slaveThreshold="100">
3.1.3. 启动 Mycat
3.1.4. 验证读写分离
#(1)在写主机数据库表mytbl中插入带系统变量数据,造成主从数据不一致
INSERT INTO mytbl VALUES(2,@@hostname);
#(2)在Mycat里查询mytbl表,可以看到查询语句在主从两个主机间切换
3.2. 搭建双主双从
一个主机 m1 用于处理所有写请求,它的从机 s1 和另一台主机 m2 还有它的从机 s2 负责所有读请求。当 m1 主机宕机后,m2 主机负责写请求,m1、m2 互为备机。架构图如下
编号 | 角色 | IP 地址 | 机器名 |
---|---|---|---|
1 | Master1 | 192.168.201.128 | root-zyy128 |
2 | Slave1 | 192.168.201.129 | root-zyy129 |
3 | Master2 | 192.168.201.130 | root-zyy130 |
4 | Slave2 | 192.168.201.131 | root-zyy131 |
3.2.1. 搭建 MySQL 数据库主从复制(双主双从)
① 双主机配置
Master1配置
修改配置文件:vim /etc/my.cnf
[mysqld]
#[可选] 0(默认)表示读写(主机),1表示只读(从机)
#read-only=0
#[必须]主服务器唯一ID
server-id=1
#[必须]启用二进制日志,指名路径。比如:自己本地的路径/log/mysqlbin
log-bin="/var/lib/mysql/binlog/zyy128-bin"
#控制单个二进制日志大小。此参数的最大和默认值是1GB
max_binlog_size=200M
#[可选]设置不要复制的数据库
binlog-ignore-db=test
#[可选]设置binlog格式
binlog_format=STATEMENT
#[可选]设置需要复制的数据库,默认全部记录。比如:binlog-do-db=atguigu_master_slave
binlog-do-db=MYSQLTEST
#在作为从数据库的时候,有写入操作也要更新二进制是日志文件
log-slave-updates
#表示自增长字段每次递增的量,指自增长的起始值,其默认值是1,取值范围是1到65535
auto-increment-increment=2
#表示自增长字段从哪个数开始,指字段一次递增多少,取值范围是1到65535
auto-increment-offset=1
Master2配置
修改配置文件:vim /etc/my.cnf
[mysqld]
#[可选] 0(默认)表示读写(主机),1表示只读(从机)
#read-only=0
#[必须]主服务器唯一ID
server-id=3
#[必须]启用二进制日志,指名路径。比如:自己本地的路径/log/mysqlbin
log-bin="/var/lib/mysql/binlog/zyy130-bin"
#控制单个二进制日志大小。此参数的最大和默认值是1GB
max_binlog_size=200M
#[可选]设置不要复制的数据库
binlog-ignore-db=test
#[可选]设置binlog格式
binlog_format=STATEMENT
#[可选]设置需要复制的数据库,默认全部记录。比如:binlog-do-db=atguigu_master_slave
binlog-do-db=MYSQLTEST
#在作为从数据库的时候,有写入操作也要更新二进制是日志文件
log-slave-updates
##表示自增长字段每次递增的量,指自增长的起始值,其默认值是1,取值范围是1到65535
auto-increment-increment=2
##表示自增长字段从哪个数开始,指字段一次递增多少,取值范围是1到65535
auto-increment-offset=2
② 双从机配置
Slave1配置
修改配置文件:vim /etc/my.cnf
#从服务器唯一ID
server-id=2
#启用中继日志
relay-log=mysql-relay
Slave2配置
修改配置文件:vim /etc/my.cnf
#从服务器唯一ID
server-id=4
#启用中继日志
relay-log=mysql-relay
③ 双主机、双从机重启 mysql 服务
④ 主机从机都关闭防火墙
⑤ 在两台主机上建立帐户并授权 mcyat
#在主机MySQL里执行授权命令
GRANT REPLICATION SLAVE ON *.* TO 'mycat'@'%' IDENTIFIED BY '123123';
#查询Master1的状态
show master status;
#查询Master2的状态
show master status;
#分别记录下File和Position的值
#执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化
⑥ 在从机上配置需要复制的主机
Slava1 复制 Master1,Slava2 复制 Master2
#复制主机的命令
CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='mycat',
MASTER_PASSWORD='123456',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;
#启动两台从服务器复制功能
start slave;
#查看从服务器状态
show slave status\G;
#下面两个参数都是Yes,则说明主从配置成功!
# Slave_IO_Running: Yes
# Slave_SQL_Running: Yes
⑦ 两个主机互相复制
Master2 复制 Master1,Master1 复制 Master2
# Master2的复制命令
CHANGE MASTER TO MASTER_HOST='192.168.201.128',MASTER_USER='mycat',MASTER_PASSWORD='123456',MASTER_LOG_FILE='zyy130-bin.000002',MASTER_LOG_POS=156;
# Master1的复制命令
CHANGE MASTER TO MASTER_HOST='192.168.201.128',MASTER_USER='mycat',MASTER_PASSWORD='123456',MASTER_LOG_FILE='zyy128-bin.000001',MASTER_LOG_POS=156;
#启动两台主服务器复制功能
start slave;
#查看从服务器状态
show slave status\G;
⑧ Master1 主机新建库、新建表、insert 记录,Master2 和从机复制
USE MYSQLTEST;
⑨ 如何停止从服务复制功能
stop slave;
⑩ 如何重新配置主从
stop slave;
reset master;
3.3. 修改 Mycat 的配置文件 schema.xml
修改的balance属性,通过此属性配置读写分离的类型
负载均衡类型,目前的取值有4 种:
(1)balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。
(2)balance="1",全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从
模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。
(3)balance="2",所有读操作都随机的在 writeHost、readhost 上分发。
(4)balance="3",所有读请求随机的分发到 readhost 执行,writerHost 不负担读压力
为了双主双从读写分离balance设置为1
...
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
</schema>
<dataNode name="dn1" dataHost="host1" database="MYSQLTEST" />
<dataHost name="host1" maxCon="1000" minCon="10" balance="2"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.228.128:3306" user="root"
password="123456">
<readHost host="hostS1" url="192.168.228.129:3306" user="root"
password="123456" />
</writeHost>
</dataHost>
</mycat:schema>
...
#balance="1": 全部的readHost与stand by writeHost参与select语句的负载均衡。
#writeType="0": 所有写操作发送到配置的第一个writeHost,第一个挂了切到还生存的第二个
#writeType="1",所有写操作都随机的发送到配置的 writeHost,1.5 以后废弃不推荐
#writeHost,重新启动后以切换后的为准,切换记录在配置文件中:dnindex.properties 。
#switchType="1": 1 默认值,自动切换。
# -1 表示不自动切换
# 2 基于 MySQL 主从同步的状态决定是否切换。
3.4. 启动 Mycat
3.5. 验证读写分离
#在写主机Master1数据库表mytbl中插入带系统变量数据,造成主从数据不一致
INSERT INTO mytbl VALUES(3,@@hostname);
#在Mycat里查询mytbl表,可以看到查询语句在Master2(host130)、Slava1(host129)、Slava2(host131)主从三个主机间切换
3.5. 抗风险能力
#停止数据库Master1
systemctl stop mysqld
#在Mycat里插入数据依然成功,Master2自动切换为写主机
INSERT INTO mytbl VALUES(3,@@hostname);
#启动数据库Master1
systemctl start mysqld
#在Mycat里查询mytbl表,可以看到查询语句在Master1(host128)、Slava1(host129)、Slava2(host131)主从三个主机间切换
Master1、Master2 互做备机,负责写的主机宕机,备机切换负责写操作,保证数据库读写分离高可用性。
四. 垂直拆分——分库
一个数据库由很多表的构成,每个表对应着不同的业务,垂直切分是指按照业务将表进行分类,分布到不同 的数据库上面,这样也就将数据或者说压力分担到不同的库上面,如下图:
系统被切分成了,用户,订单交易,支付几个模块。
4.1. 如何划分表
一个问题:在两台主机上的两个数据库中的表,能否关联查询?
答案:不可以关联查询。
分库的原则:有紧密关联关系的表应该在一个库里,相互没有关联关系的表可以分到不同的库里。
#客户表 rows:20万
CREATE TABLE customer(
id INT AUTO_INCREMENT,
NAME VARCHAR(200),
PRIMARY KEY(id)
);
#订单表 rows:600万
CREATE TABLE orders(
id INT AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id));
#订单详细表 rows:600万
CREATE TABLE orders_detail(
id INT AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
);
#订单状态字典表 rows:20
CREATE TABLE dict_order_type(
id INT AUTO_INCREMENT,
order_type VARCHAR(200),
PRIMARY KEY(id)
);
以上四个表如何分库?客户表分在一个数据库,另外三张都需要关联查询,分在另外一个数据库。
4.2. 实现分库
4.2.1. 修改 schema 配置文件
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
<table name="customer" dataNode="dn2"></table>
</schema>
<dataNode name="dn1" dataHost="host1" database="orders" />
<dataNode name="dn2" dataHost="host2" database="orders" />
<dataHost name="host1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.201.128:3306" user="mycat"
password="123456">
</writeHost>
</dataHost>
<dataHost name="host2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.201.130:3306" user="mycat"
password="123456">
</writeHost>
</dataHost>
</mycat:schema>
4.2.2. 新增两个空白库
分库操作不是在原来的老数据库上进行操作,需要准备两台机器分别安装新的数据库
#在数据节点 dn1、dn2 上分别创建数据库 orders
CREATE DATABASE orders;
4.2.3. 启动 Mycat
./mycat console
4.2.4. 访问 Mycat 进行分库
#访问 Mycat
mysql -umycat -p123456 -h 192.168.201.128 -P 8066
#切换到 TESTDB
#创建 4 张表
#查看表信息,可以看到成功分库
五. 水平拆分——分表
相对于垂直拆分,水平拆分不是将表做分类,而是按照某个字段的某种规则来分散到多个库之中,每个表中 包含一部分数据。简单来说,我们可以将数据的水平切分理解为是按照数据行的切分,就是将表中的某些行切分 到一个数据库,而另外的某些行又切分到其他的数据库中,如图:
5.1. 实现分表
5.1.1. 选择要拆分的表
MySQL 单表存储数据条数是有瓶颈的,单表达到 1000 万条数据就达到了瓶颈,会影响查询效率,需要进行水平拆分(分表)进行优化。
例如:例子中的 orders、orders_detail 都已经达到 600 万行数据,需要进行分表优化。
5.1.2. 分表字段
以 orders 表为例,可以根据不同自字段进行分表
编号 | 分表字段 | 效果 |
---|---|---|
1 | id(主键、或创建时间) | 查询订单注重时效,历史订单被查询的次数少,如此分片会造成一个节点访问多,一个问少,不平均。 |
2 | customer_id(客户 id) | 根据客户 id 去分,两个节点访问平均,一个客户的所有订单都在同一个节点 |
5.1.3. 修改配置文件 schema.xml
#为 orders 表设置数据节点为 dn1、dn2,并指定分片规则为 mod_rule(自定义的名字)
<table name="orders" dataNode="dn1,dn2" rule="mod_rule" ></table>
#如下图
5.1.4. 修改配置文件 rule.xml
#在 rule 配置文件里新增分片规则 mod_rule,并指定规则适用字段为 customer_id,
#还有选择分片算法 mod-long(对字段求模运算),customer_id 对两个节点求模,根据结果分片
#配置算法 mod-long 参数 count 为 2,两个节点
<tableRule name="mod_rule">
<rule>
<columns>customer_id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">2</property>
</function>
#如下图:
5.1.5. 在数据节点 dn2 上建 orders 表
5.1.6. 重启 Mycat,让配置生效
5.1.7. 访问 Mycat 实现分片
#在 mycat 里向 orders 表插入数据,INSERT 字段不能省略
INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);
#在mycat、dn1、dn2中查看orders表数据,分表成功
5.2. Mycat 的分片 “join”
Orders 订单表已经进行分表操作了,和它关联的 orders_detail 订单详情表如何进行 join 查询。
我们要对 orders_detail 也要进行分片操作。Join 的原理如下图:
5.2.1. ER 表
Mycat 借鉴了 NewSQL 领域的新秀 Foundation DB 的设计思路,Foundation DB 创新性的提出了 Table Group 的概念,其将子表的存储位置依赖于主表,并且物理上紧邻存放,因此彻底解决了JION 的效率和性能问 题,根据这一思路,提出了基于 E-R 关系的数据分片策略,子表的记录与所关联的父表记录存放在同一个数据分片上。
#修改 schema.xml 配置文件
<table name="orders" dataNode="dn1,dn2" rule="mod_rule" >
<childTable name="orders_detail" primaryKey="id" joinKey="order_id" parentKey="id" />
</table>
#在 dn2 创建 orders_detail 表
#重启 Mycat
#访问 Mycat 向 orders_detail 表插入数据
INSERT INTO orders_detail(id,detail,order_id) values(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);
#在mycat、dn1、dn2中运行两个表join语句
Select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
5.2.2. 全局表
在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联,就成了比较 棘手的问题,考虑到字典表具有以下几个特性:
① 变动不频繁。
② 数据量总体变化不大。
③ 数据规模不大,很少有超过数十万条记录。
鉴于此,Mycat 定义了一种特殊的表,称之为“全局表”,全局表具有以下特性:
① 全局表的插入、更新操作会实时在所有节点上执行,保持各个分片的数据一致性。
② 全局表的查询操作,只从一个节点获取。
③ 全局表可以跟任何一个表进行 JOIN 操作。
将字典表或者符合字典表特性的一些表定义为全局表,则从另外一个方面,很好的解决了数据JOIN 的难题。通过全局表+基于 E-R 关系的分片策略,Mycat 可以满足 80%以上的企业应用开发。
#修改 schema.xml 配置文件
<table name="orders" dataNode="dn1,dn2" rule="mod_rule" >
<childTable name="orders_detail" primaryKey="id" joinKey="order_id" parentKey="id" />
</table>
<table name="dict_order_type" dataNode="dn1,dn2" type="global" ></table>
#在 dn2 创建 dict_order_type 表
#重启 Mycat
#访问 Mycat 向 dict_order_type 表插入数据
INSERT INTO dict_order_type(id,order_type) VALUES(101,'type1');
INSERT INTO dict_order_type(id,order_type) VALUES(102,'type2');
#在Mycat、dn1、dn2中查询表数据
select * from dict_order_type;
5.3. 常用分片规则
5.3.1. 取模
此规则为对分片字段求摸运算。也是水平分表最常用规则。5.1 配置分表中,orders 表采用了此规则。
5.3.2. 分片枚举
通过在配置文件中配置可能的枚举 id,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国省份区县固定的,这类业务使用本条规则。
(1)修改schema.xml配置文件
<table name="orders_ware_info" dataNode="dn1,dn2" rule="sharding_by_intfile" ></table>
(2)修改rule.xml配置文件
<tableRule name="sharding_by_intfile">
<rule>
<columns>areacode</columns>
<algorithm>hash-int</algorithm>
</rule>
</tableRule>
<function name="hash-int"
class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
<property name="type">1</property>
<property name="defaultNode">0</property>
</function>
# columns:分片字段,algorithm:分片函数
# mapFile:标识配置文件名称,type:0为int型、非0为String,
#defaultNode:默认节点:小于 0 表示不设置默认节点,大于等于 0 表示设置默认节点,
# 设置默认节点如果碰到不识别的枚举值,就让它路由到默认节点,如不设置不识别就报错
(3)修改partition-hash-int.txt配置文件
110=0
120=1
(4)重启 Mycat
(5)访问Mycat创建表
#订单归属区域信息表
CREATE TABLE orders_ware_info
(
`id` INT AUTO_INCREMENT comment '编号',
`order_id` INT comment '订单编号',
`address` VARCHAR(200) comment '地址',
`areacode` VARCHAR(20) comment '区域编号',
PRIMARY KEY(id)
);
(6)插入数据
INSERT INTO ORDERS_WARE_INFO(id, order_id,address,areacode) VALUES (1,1,'北京','110');
INSERT INTO ORDERS_WARE_INFO(id, order_id,address,areacode) VALUES (2,2,'天津','120');
(7)查询Mycat、dn1、dn2可以看到数据分片效果
5.3.3. 范围约定
此分片适用于,提前规划好分片字段某个范围属于哪个分片。
(1)修改schema.xml配置文件
<table name="payment_info" dataNode="dn1,dn2" rule="auto_sharding_long" ></table>
(2)修改rule.xml配置文件
<tableRule name="auto_sharding_long">
<rule>
<columns>order_id</columns>
<algorithm>rang-long</algorithm>
</rule>
</tableRule>
...
<function name="rang-long"
class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
<property name="defaultNode">0</property>
</function>
# columns:分片字段,algorithm:分片函数
# mapFile:标识配置文件名称
#defaultNode:默认节点:小于 0 表示不设置默认节点,大于等于 0 表示设置默认节点,
# 设置默认节点如果碰到不识别的枚举值,就让它路由到默认节点,如不设置不识别就
报错
(3)修改autopartition-long.txt配置文件
vim conf/autopartition-long.txt
0-102=0
103-200=1
注:需要把mycat自带的三行去掉,不然会报错!!!
(4)重启 Mycat
(5)访问Mycat创建表
CREATE TABLE payment_info
(
`id` INT AUTO_INCREMENT comment '编号',
`order_id` INT comment '订单编号',
`payment_status` INT comment '支付状态',
PRIMARY KEY(id)
);
(6)插入数据
INSERT INTO PAYMENT_INFO(id,order_id,payment_status) VALUES (1,101,0);
INSERT INTO PAYMENT_INFO(id,order_id,payment_status) VALUES (2,102,1);
INSERT INTO PAYMENT_INFO(id,order_id ,payment_status) VALUES (3,103,0);
INSERT INTO PAYMENT_INFO(id,order_id,payment_status) VALUES (4,104,1);
(7)查询Mycat、dn1、dn2可以看到数据分片效果
5.3.4. 按日期(天)分片
此规则为按天分片。设定时间格式、范围
(1)修改schema.xml配置文件
<table name="login_info" dataNode="dn1,dn2" rule="sharding_by_date" ></table>
(2)修改rule.xml配置文件
<tableRule name="sharding_by_date">
<rule>
<columns>login_date</columns>
<algorithm>shardingByDate</algorithm>
</rule>
</tableRule>
...
<function name="shardingByDate" class="io.mycat.route.function.PartitionByDate">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2019-01-01</property>
<property name="sEndDate">2019-01-04</property>
<property name="sPartionDay">2</property>
</function>
# columns:分片字段,algorithm:分片函数
#dateFormat :日期格式
#sBeginDate :开始日期
#sEndDate:结束日期,则代表数据达到了这个日期的分片后循环从开始分片插入
#sPartionDay :分区天数,即默认从开始日期算起,分隔 2 天一个分区
(3)重启 Mycat
(4)访问Mycat创建表
CREATE TABLE LOGIN_INFO
(
`id` INT AUTO_INCREMENT comment '编号',
`user_id` INT comment '用户编号',
`login_date` date comment '登录日期',
PRIMARY KEY(id)
);
(6)插入数据
INSERT INTO LOGIN_INFO(id,user_id,login_date) VALUES (1,101,'2019-01-01');
INSERT INTO LOGIN_INFO(id,user_id,login_date) VALUES (2,102,'2019-01-02');
INSERT INTO LOGIN_INFO(id,user_id,login_date) VALUES (3,103,'2019-01-03');
INSERT INTO LOGIN_INFO(id,user_id,login_date) VALUES (4,104,'2019-01-04');
INSERT INTO LOGIN_INFO(id,user_id,login_date) VALUES (5,103,'2019-01-05');
INSERT INTO LOGIN_INFO(id,user_id,login_date) VALUES (6,104,'2019-01-06');
(7)查询Mycat、dn1、dn2可以看到数据分片效果
5.4. 全局序列
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,Mycat 提供了全局 sequence,并且提供了包含本地配置和数据库配置等多种实现方式.
5.4.1. 本地文件
此方式 Mycat 将 sequence 配置到文件中,当使用到 sequence 中的配置后,Mycat 会更下classpath 中的 sequence_conf.properties 文件中 sequence 当前的值。
① 优点:本地加载,读取速度较快
② 缺点:抗风险能力差,Mycat 所在主机宕机后,无法读取本地文件。
5.4.2. 数据库方式
利用数据库一个表 来进行计数累加。但是并不是每次生成序列都读写数据库,这样效率太低。Mycat 会预加载一部分号段到 Mycat 的内存中,这样大部分读写序列都是在内存中完成的。如果内存中的号段用完了 Mycat 会再向数据库要一次。
问:那如果 Mycat 崩溃了 ,那内存中的序列岂不是都没了?
是的。如果是这样,那么 Mycat 启动后会向数据库申请新的号段,原有号段会弃用。
也就是说如果 Mycat 重启,那么损失是当前的号段没用完的号码,但是不会因此出现主键重复
① 建库序列脚本
#在 dn1 上创建全局序列表
CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;
#创建全局序列所需函数
DELIMITER $$
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END $$
DELIMITER ;
DELIMITER $$
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS
VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = VALUE
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END $$
DELIMITER ;
DELIMITER $$
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END $$
DELIMITER ;
#初始化序列表记录
INSERT INTO MYCAT_SEQUENCE(NAME,current_value,increment) VALUES ('ORDERS', 400000,100);
② 修改 Mycat 配置
#修改sequence_db_conf.properties
vim sequence_db_conf.properties
#意思是 ORDERS这个序列在dn1这个节点上,具体dn1节点是哪台机子,请参考schema.xml
#修改server.xml
vim server.xml
#全局序列类型:0-本地文件,1-数据库方式,2-时间戳方式。此处应该修改成1。
③ 重启Mycat
④ 验证全局序列
#登录 Mycat,插入数据
insert into orders(id,amount,customer_id,order_type) values(next value for
MYCATSEQ_ORDERS,1000,101,102);
#查询数据
#重启Mycat后,再次插入数据,再查询
5.4.3. 时间戳方式
全局序列ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加) 换算成十进制为 18 位数的long 类型,每毫秒可以并发 12 位二进制的累加。
① 优点:配置简单
② 缺点:18 位 ID 过长
5.4.4. 自主生成全局序列
可在 java 项目里自己生成全局序列,如下:
① 根据业务逻辑组合
② 可以利用 redis 的单线程原子性 incr 来生成序列,但是自主生成需要单独在工程中用 java 代码实现,还是推荐使用 Mycat 自带全局序列。
六. 基于 HA 机制的 Mycat 高可用
在实际项目中,Mycat 服务也需要考虑高可用性,如果 Mycat 所在服务器出现宕机,或 Mycat 服务故障,需要有备机提供服务,需要考虑 Mycat 集群。
6.1. 高可用方案
我们可以使用 HAProxy + Keepalived 配合两台 Mycat 搭起 Mycat 集群,实现高可用性。HAProxy实现了 MyCat 多节点的集群高可用和负载均衡,而 HAProxy 自身的高可用则可以通过 Keepalived 来实现。
编号 | 角色 | IP 地址 | 机器名 |
---|---|---|---|
1 | Mycat1 | 192.168.201.128 | root-zyy128 |
2 | Mycat2 | 192.168.201.130 | root-zyy130 |
3 | HAProxy(master) | 192.168.201.129 | root-zyy129 |
4 | Keepalived(master) | 192.168.201.129 | root-zyy129 |
5 | HAProxy(backup) | 192.168.201.131 | root-zyy131 |
6 | Keepalived(backup) | 192.168.201.131 | root-zyy131 |
6.2. 安装配置 HAProxy
6.2.1. 安装 HAProxy
-
准备好HAProxy安装包,传到/opt目录下。
下载地址:https://src.fedoraproject.org/repo/pkgs/haproxy/ -
解压到/usr/local/src
tar -zxvf haproxy-2.4.8.tar.gz
cp -r haproxy-2.4.8 /usr/local/src/
- 进入解压后的目录,查看内核版本,进行编译
cd /usr/local/src/haproxy-2.4.8/
uname -r
make TARGET=linux310 PREFIX=/usr/local/haproxy ARCH=x86_64
# ARGET=linux310,内核版本,使用uname -r查看内核,如:3.10.0-514.el7,此时该参数就为linux310;
#ARCH=x86_64,系统位数;
#PREFIX=/usr/local/haprpxy #/usr/local/haprpxy,为haprpxy安装路径。
如果报错:
sudo yum -y install gcc gcc-c++ libstdc++-devel
- 编译完成后,进行安装
make install PREFIX=/usr/local/haproxy
- 安装完成后,创建目录、创建HAProxy配置文件
mkdir -p /usr/data/haproxy/
vim /usr/local/haproxy/haproxy.conf
- 向配置文件中插入以下配置信息,并保存
global
log 127.0.0.1 local0
#log 127.0.0.1 local1 notice
#log loghost local0 info
maxconn 4096
chroot /usr/local/haproxy
pidfile /usr/data/haproxy/haproxy.pid
uid 99
gid 99
daemon
#debug
#quiet
defaults
log global
mode tcp
option abortonclose
option redispatch
retries 3
maxconn 2000
timeout connect 5000
timeout client 50000
timeout server 50000
listen proxy_status
bind :48066
mode tcp
balance roundrobin
server mycat_1 192.168.201.128:8066 check inter 10s
server mycat_2 192.168.201.130:8066 check inter 10s
frontend admin_stats
bind :7777
mode http
stats enable
option httplog
maxconn 10
stats refresh 30s
stats uri /admin
stats auth admin:123123
stats hide-version
stats admin if TRUE
6.2.2. 启动验证
- 启动HAProxy
/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.conf
- 查看HAProxy进程
ps -ef|grep haproxy
- 打开浏览器访问
http://192.168.201.129:7777/admin
#在弹出框输入用户名:admin密码:123123
- 验证负载均衡,通过HAProxy访问Mycat
mysql -umycat -p123456 -h 192.168.201.129 -P 48066
6.3. 配置 Keepalived
6.3.1. 安装 Keepalived
- 准备好Keepalived安装包,传到/opt目录下
下载地址:https://www.keepalived.org/download.html - 解压到/usr/local/src
tar -zxvf keepalived-2.0.20.tar.gz
mv -i keepalived-2.0.20 /usr/local/src/
- 进入解压后的目录,进行配置,进行编译
cd /usr/local/src/keepalived-2.0.20/
./configure --prefix=/usr/local/keepalived
- 进行编译,完成后进行安装
yum install -y gcc openssl-devel popt-devel
make
make install
- 运行前配置
cp /usr/local/src/keepalived-2.0.20/keepalived/etc/init.d/keepalived /etc/init.d/
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/src/keepalived-2.0.20/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
- 修改配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
xlcocoon@foxmail.com
}
notification_email_from keepalived@showjoy.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
#主机配MASTER,备机配BACKUP
state MASTER
#所在机器网卡
interface ens33
virtual_router_id 51
#数值越大优先级越高
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
#虚拟IP
192.168.201.200
}
}
virtual_server 192.168.201.200 48066 {
delay_loop 6
lb_algo rr
lb_kind NAT
persistence_timeout 50
protocol TCP
real_server 192.168.201.129 48066 {
weight 1
TCP_CHECK {
connect_timeout 3
retry 3
delay_before_retry 3
}
}
real_server 192.168.201.131 48600 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
6.3.2. 启动验证
- 启动Keepalived
service keepalived start
- 登录验证
mysql -umycat -p123456 -h 192.168.201.200 -P 48066
6.4. 测试高可用
- 测试步骤
#1关闭mycat
#2通过虚拟ip查询数据
mysql -umycat -p123456 -h 192.168.201.200 -P 48066
七. Mycat 安全设置
7.1. 权限配置
7.1.1. user 标签权限控制
目前 Mycat 对于中间件的连接控制并没有做太复杂的控制,目前只做了中间件逻辑库级别的读写权限控制。是通过 server.xml 的 user 标签进行配置。
#server.xml配置文件user部分
<user name="mycat">
<property name="password">123456</property>
<property name="schemas">TESTDB</property>
</user>
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>
如下图:
配置说明
标签属性 | 说明 |
---|---|
name | 应用连接中间件逻辑库的用户名 |
password | 该用户对应的密码 |
TESTDB | 应用当前连接的逻辑库中所对应的逻辑表。schemas 中可以配置一个或多个 |
readOnly | 应用连接中间件逻辑库所具有的权限。true 为只读,false 为读写都有,默认为 false |
测试案例
#测试案例一
# 使用user用户,权限为只读(readOnly:true)
# 验证是否可以查询出数据,验证是否可以写入数据
- 用user用户登录,运行命令如下:
mysql -uuser -puser -h 192.168.201.128 -P8066
- 切换到TESTDB数据库,查询orders表数据,如下:
use TESTDB
select * from orders;
- 可以查询到数据,如下图
- 执行插入数据sql,如下:
insert into orders(id,order_type,customer_id,amount) values(7,101,101,10000);
- 可看到运行结果,插入失败,只有只读权限,如下图:
测试案例二
# 使用mycat用户,权限为可读写(readOnly:false)
# 验证是否可以查询出数据,验证是否可以写入数据
- 用mycat用户登录,运行命令如下:
mysql -umycat -p123456 -h 192.168.201.128 -P8066
- 切换到TESTDB数据库,查询orders表数据,如下:
use TESTDB
select * from orders;
- 可以查询到数据,如下图
- 执行插入数据sql,如下:
insert into orders(id,order_type,customer_id,amount) values(7,101,101,10000);
- 可看到运行结果,插入成功,如下图:
7.1.2. privileges 标签权限控制
在 user 标签下的 privileges 标签可以对逻辑库(schema)、表(table)进行精细化的 DML 权限控制。
privileges 标签下的 check 属性,如为 true 开启权限检查,为 false 不开启,默认为 false。
由于 Mycat 一个用户的 schemas 属性可配置多个逻辑库(schema) ,所以 privileges 的下级节点 schema 节点同样可配置多个,对多库多表进行细粒度的 DML 权限控制。
#server.xml配置文件privileges部分
#配置orders表没有增删改查权限
<user name="mycat">
<property name="password">123456</property>
<property name="schemas">TESTDB</property>
<!-- 表级 DML 权限设置 -->
<privileges check="true">
<schema name="TESTDB" dml="1111" >
<table name="orders" dml="0000"></table>
<!--<table name="tb02" dml="1111"></table>-->
</schema>
</privileges>
</user>
配置说明:
DML 权限 | 增加(insert) | 更新(update) | 查询(select) | 删除(select) |
---|---|---|---|---|
0000 | 禁止 | 禁止 | 禁止 | 禁止 |
0010 | 禁止 | 禁止 | 可以 | 禁止 |
1110 | 可以 | 禁止 | 禁止 | 禁止 |
1111 | 可以 | 可以 | 可以 | 可以 |
测试案例一
# 使用mycat用户,privileges配置orders表权限为禁止增删改查(dml="0000")
# 验证是否可以查询出数据,验证是否可以写入数据
#1、重启mycat,用mycat用户登录,运行命令如下:
mysql -umycat -p123456 -h 192.168.201.128 -P8066
#2、切换到TESTDB数据库,查询orders表数据,如下:
use TESTDB
select * from orders;
#3、禁止该用户查询数据,如下图
#4、执行插入数据sql,如下:
insert into orders(id,order_type,customer_id,amount) values(8,101,101,10000);
#5、可看到运行结果,禁止该用户插入数据,如下图:
测试案例二
# 使用mycat用户,privileges配置orders表权限为可以增删改查(dml="1111")
# 验证是否可以查询出数据,验证是否可以写入数据
#1、重启mycat,用mycat用户登录,运行命令如下:
mysql -umycat -p123456 -h 192.168.201.128 -P8066
#2、切换到TESTDB数据库,查询orders表数据,如下:
use TESTDB
select * from orders;
#3、可以查询到数据,如下图
#4、执行插入数据sql,如下:
insert into orders(id,order_type,customer_id,amount) values(8,101,101,10000);
#5、可看到运行结果,插入成功,如下图:
#4、执行插入数据sql,如下:
delete from orders where id in (7,8);
#5、可看到运行结果,插入成功,如下图:
7.2. SQL 拦截
firewall 标签用来定义防火墙;firewall 下 whitehost 标签用来定义 IP 白名单 ,blacklist 用来定义SQL 黑名单。
7.2.1. 白名单
可以通过设置白名单,实现某主机某用户可以访问 Mycat,而其他主机用户禁止访问。
#设置白名单
#server.xml配置文件firewall标签
#配置只有192.168.140.128主机可以通过mycat用户访问
<firewall>
<whitehost>
<host host="192.168.140.128" user="mycat"/>
</whitehost>
</firewall>
#重启Mycat后,192.168.201.128主机使用mycat用户访问
mysql -umycat -p123456 -h 192.168.201.128 -P 8066
#可以正常访问,如下图
#在此主机换user用户访问,禁止访问
7.2.2. 黑名单
可以通过设置黑名单,实现 Mycat 对具体 SQL 操作的拦截,如增删改查等操作的拦截。
#设置黑名单
#server.xml配置文件firewall标签
#配置禁止mycat用户进行删除操作
<firewall>
<whitehost>
<host host="192.168.201.128" user="mycat"/>
</whitehost>
<blacklist check="true">
<property name="deleteAllow">false</property>
</blacklist>
</firewall>
#重启Mycat后,192.168.201.128主机使用mycat用户访问
mysql -umycat -p123456 -h 192.168.201.128 -P 8066
#可以正常访问,如下图
#切换TESTDB数据库后,执行删除数据语句
delete from orders where id=7;
#运行后发现已禁止删除数据,如下图
可以设置的黑名单 SQL 拦截功能列表
配置项 | 缺省值 | 描述 |
---|---|---|
selelctAllow | true | 否允许执行 SELECT 语句 |
deleteAllow | true | 否允许执行 DELETE语句 |
updateAllow | true | 否允许执行 UPDATE语句 |
insertAllow | true | 否允许执行 INSERT语句 |
createTableAllow | true | 是否允许创建表 |
setAllow | true | 是否允许使用 SET 语法 |
alterTableAllow | true | 是否允许执行 Alter Table 语句 |
dropTableAllow | true | 是否允许修改表 |
commitAllow | true | 是否允许执行 commit 操作 |
rollbackAllow | true | 是否允许执行 roll back 操作 |
八. Mycat 监控工具
8.1. Mycat-web 简介
Mycat-web 是 Mycat 可视化运维的管理和监控平台,弥补了 Mycat 在监控上的空白。帮 Mycat 分担统计任务和配置管理任务。Mycat-web 引入了 ZooKeeper 作为配置中心,可以管理多个节点。Mycat-web 主要管理和监控 Mycat 的流量、连接、活动线程和内存等,具备 IP 白名单、邮件告警等模块,还可以统计 SQL 并分析慢 SQL 和高频 SQL 等。为优化 SQL 提供依据。
8.2. Mycat-web 配置使用
8.2.1. ZooKeeper 安装
- 下载安装包http://zookeeper.apache.org/
- 安装包拷贝到Linux系统/opt目录下,并解压
tar -zxvf zookeeper-3.4.11.tar.gz
- 进入ZooKeeper解压后的配置目录(conf),复制配置文件并改名
cd /opt/zookeeper-3.4.11/conf
cp zoo_sample.cfg zoo.cfg
- 进入ZooKeeper的命令目录(bin),运行启动命令
./zkServer.sh start
- ZooKeeper服务端口为2181,查看服务已经启动
netstat -ant | grep 2181
8.2.2. Mycat-web 安装
- 下载安装包http://www.mycat.io/
- 安装包拷贝到Linux系统/opt目录下,并解压
tar -zxvf Mycat-web-1.0-SNAPSHOT-20170102153329-linux.tar.gz
- 拷贝mycat-web文件夹到/usr/local目录下
cp -r mycat-web /usr/local
- 进入mycat-web的目录下运行启动命令
cd /usr/local/mycat-web/
./start.sh &
- Mycat-web服务端口为8082,查看服务已经启动
netstat -ant | grep 8082
- 通过地址访问服务
http://192.168.201.130:8082/mycat/
8.2.3. Mycat-web 配置
安装步骤如下:
- 先在注册中心配置ZooKeeper地址,配置后刷新页面,可见
- 新增Mycat监控实例
8.3. Mycat 性能监控指标
Mycat-web 上可以进行 Mycat 性能监控,例如:内存分享、流量分析、连接分析、活动线程分析等等。