mycat实现读写分离、主从复制

mycat是什么

Mycat是数据库中间件。
1、数据库中间件
中间件：是一类连接软件组件和应用的计算机软件，以便于软件各部件之间的沟通。
例子：Tomcat，web中间件。
数据库中间件：连接java应用程序和数据库
2、为什么要用Mycat？
① Java与数据库紧耦合。
②高访问量高并发对数据库的压力。
③读写请求数据不一致
3、数据库中间件对比
① Cobar属于阿里B2B事业群，始于2008年，在阿里服役3年多，接管3000+个MySQL数据库的schema,
集群日处理在线SQL请求50亿次以上。由于Cobar发起人的离职，Cobar停止维护。
② Mycat是开源社区在阿里cobar基础上进行二次开发，解决了cobar存在的问题，并且加入了许多新
的功能在其中。青出于蓝而胜于蓝。
③ OneProxy基于MySQL官方的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件。舍
弃了一些功能，专注在性能和稳定性上。
④ kingshard由小团队用go语言开发，还需要发展，需要不断完善。
⑤ Vitess是Youtube生产在使用，架构很复杂。不支持MySQL原生协议，使用需要大量改造成本。
⑥ Atlas是360团队基于mysql proxy改写，功能还需完善，高并发下不稳定。
⑦ MaxScale是mariadb（MySQL原作者维护的一个版本）研发的中间件
⑧ MySQLRoute是MySQL官方Oracle公司发布的中间件

mycat能干什么

1、读写分离
2、数据分片：垂直拆分（分库）、水平拆分（分表）、垂直+水平拆分（分库分表）
3、多数据源整合

原理

Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL语句，首先对 SQL
语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL发
往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

这种方式把数据库的分布式从代码中解耦出来，程序员察觉不出来后台使用 Mycat还是MySQL。

安装

Mycat 是使用 java 写的数据库中间件，所以要运行 Mycat 前要准备要 jdk 的环境，要求是 jdk1.7 以上的环境。所以需要在系统中配置 JAVA_HOME 的环境变量。
1.下载mycat安装包，解压缩文件拷贝到 linux下/usr/local/
2.主要更改三个配置文件：
①schema.xml：定义逻辑库，表、分片节点等内容

<?xml version="1.0"?> 
<!DOCTYPE mycat:schema SYSTEM "schema.dtd"> 
<mycat:schema xmlns:mycat="http://io.mycat/"> 
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"> 
</schema> 
<dataNode name="dn1" dataHost="host1" database="testdb" /> 
<dataHost name="host1" maxCon="1000" minCon="10" balance="0" 
writeType="0" dbType="mysql" dbDriver="native" switchType="1" 
slaveThreshold="100"> 
<heartbeat>select user()</heartbeat> 
<!-- can have multi write hosts --> 
<writeHost host="hostM1" url="192.168.140.128:3306" user="root" 
password="123123"> 
<!-- can have multi read hosts --> 
<readHost host="hostS1" url="192.168.140.127:3306" user="root" 
password="123123" /> 
</writeHost> 
</dataHost> 
</mycat:schema>

②rule.xml：定义分片规则
③server.xml：定义用户以及系统相关变量，如端口等

<user name="mycat"> 
<property name="password">123456</property> 
<property name="schemas">TESTDB</property> 
</user> 

3.Mycat作为数据库中间件要和数据库部署在不同机器上，所以要验证远程访问情况。
mysql -uroot -p123123 -h 192.168.140.128 -P 3306
mysql -uroot -p123123 -h 192.168.140.127 -P 3306
4.①控制台启动：去 mycat/bin目录下执行 ./mycat console
②后台启动：去 mycat/bin目录下 ./mycat start
为了能第一时间看到启动日志，方便定位问题，我们选择①控制台启动。
5.启动可能出现的错误
还有就是操作系统centos8出现的域名解析错误，或者内存不足的问题。

登录mycat

1、登录后台管理窗口 9066端口，
此登录方式用于管理维护 Mycat
mysql -umycat -p123456 -P 9066 -h 192.168.140.128
show database
show @@help
2、登录数据窗口
此登录方式用于通过 Mycat查询数据，我们选择这种方式访问 Mycat
mysql -umycat -p123456 -P 8066 -h 192.168.140.128

搭建读写分离

我们通过 Mycat和 MySQL的主从复制 配合搭建数据库的读写分离，实现 MySQL的高可用性。
我们将搭建：一主一从、双主双从两种读写分离模式。

一主一从

一个主机用于处理所有写请求，一台从机负责所有读请求，架构图如下

1、搭建 MySQL数据库主从复制
① MySQL主从复制原理

②主机配置(host79)
修改配置文件 vim /etc/my.cnf 或者 vim /etc/mysql/mysql.cnf 或者不存在（注意配置文件的格式，最好复制）

#主服务器唯一ID
server-id=1
#启用二进制日志
log-bin=mysql-bin
#设置不要复制的数据库(可设置多个)
binlog-ignore-db=mysql
binlog-ignore-db=information_schema
#设置需要复制的数据库
binlog-do-db=需要复制的主数据库名字
#设置logbin格式
binlog_format=STATEMENT

③从机配置(host80)
修改配置文件 vim /etc/my.cnf 或者 vim /etc/mysql/mysql.cnf 或者不存在（注意配置文件的格式，最好复制）

#从服务器唯一ID
server-id=2
#启用中继日志
relay-log=mysql-relay

④主机、从机重启 MySQL服务
⑤主机从机都关闭防火墙
⑥在主机上建立帐户并授权 slave，进入mysql命令行

#在主机MySQL里执行授权命令
GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' IDENTIFIED BY '123123';
#查询master的状态
show master status;

#记录下File和Position的值
#执行完此步骤后不要再操作主服务器MySQL，防止主服务器状态值变化
⑦在从机上配置需要复制的主机， 进入mysql命令行

#复制主机的命令
CHANGE MASTER TO MASTER_HOST='主机的IP地址',
MASTER_USER='slave',
MASTER_PASSWORD='123123',
MASTER_LOG_FILE='mysql-bin.具体数字',MASTER_LOG_POS=具体值;
#启动从服务器复制功能
start slave;
#查看从服务器状态
show slave status\G;

#下面两个参数都是Yes，则说明主从配置成功！
#Slave_IO_Running: Yes
#Slave_SQL_Running: Yes
如果有一个为no， 上面👆图片有显示log的地方，具体情况进行百度，我当时遇到了uuid重复
⑧主机新建库、新建表、insert记录，从机复制
⑨如何停止从服务复制功能 ， 进入mysql命令行

stop slave;

⑩如何重新配置主从 ， 进入mysql命令行

stop slave;
reset master;

2、修改 Mycat的配置文件 schema.xml
之前的配置已分配了读写主机，是否已实现读写分离？

验证读写分离
（1）在写主机插入：insert into mytbl values (1,@@hostname);
主从主机数据不一致了
（2）在Mycat里查询：select * from mytbl;

修改的balance属性，通过此属性配置读写分离的类型

负载均衡类型，目前的取值有4种：
（1）balance=“0”,不开启读写分离机制，所有读操作都发送到当前可用的 writeHost上。
（2）balance=“1”，全部的 readHost与 stand by writeHost参与 select语句的负载均衡，简单的说，当双主双从
模式(M1->S1，M2->S2，并且 M1与 M2互为主备)，正常情况下，M2,S1,S2都参与 select语句的负载均衡。
（3）balance=“2”，所有读操作都随机的在 writeHost、readhost上分发。
（4）balance=“3”，所有读请求随机的分发到 readhost执行，writerHost不负担读压力

为了能看到读写分离的效果，把balance设置成2，会在两个主机间切换查询

<dataHost name="host1" maxCon="1000" minCon="10"  balance="2"
writeType="0" dbType="mysql" dbDriver="native" switchType="1"
slaveThreshold="100">

3、启动 Mycat
4、验证读写分离
#（1）在写主机数据库表mytbl中插入带系统变量数据，造成主从数据不一致
INSERT INTO mytbl VALUES(2,@@hostname);
#（2）在Mycat里查询mytbl表,可以看到查询语句在主从两个主机间切换

双主双从

垂直拆分–分库

一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类，分布到不同的数据库上面，这样也就将数据或者说压力分担到不同的库上面

水平拆分–分表

对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，
每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就
是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中

HA机制的mycat高可用

在实际项目中，Mycat服务也需要考虑高可用性，如果 Mycat所在服务器出现宕机，或 Mycat服务故障，需要有备机提供服务，需要考虑 Mycat集群。

mycat安全设置

Mycat-web配置使用（搭建了，但是服务器内存小，老是挂掉）