mycat笔记

第一章 概述  http://www.mycat.io/

1.1 是什么 Mycat 是数据库中间件。

1、数据库中间件 中间件：是一类连接软件组件和应用的计算机软件，以便于软件各部件之间的沟通。 例子：Tomcat，web中间件。 数据库中间件：连接java应用程序和数据库

2、为什么要用Mycat？

① Java与数据库紧耦合。

② 高访问量高并发对数据库的压力。

③ 读写请求数据不一致

3、数据库中间件对比

① Cobar属于阿里B2B事业群，始于2008年，在阿里服役3年多，接管3000+个MySQL数据库的schema, 集群日处理在线SQL请求50亿次以上。由于Cobar发起人的离职，Cobar停止维护。

② Mycat是开源社区在阿里cobar基础上进行二次开发，解决了cobar存在的问题，并且加入了许多新 的功能在其中。青出于蓝而胜于蓝。

③ OneProxy基于MySQL官方的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件。舍 弃了一些功能，专注在性能和稳定性上。

④ kingshard由小团队用go语言开发，还需要发展，需要不断完善。

⑤ Vitess是Youtube生产在使用，架构很复杂。不支持MySQL原生协议，使用需要大量改造成本。 ⑥ Atlas是360团队基于mysql proxy改写，功能还需完善，高并发下不稳定。

⑦ MaxScale是mariadb（MySQL原作者维护的一个版本） 研发的中间件

⑧ MySQLRoute是MySQL官方Oracle公司发布的中间件 

1.2 干什么

1、读写分离

     实现方式：

2、数据分片

  垂直拆分（分库）、水平拆分（分表）、垂直+水平拆分（分库分表）

  实现方式：

3、多数据源整合

  实现方式：

 1.3 原理

Mycat 的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的 SQL 语句，首先对 SQL 语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此 SQL 发 往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。

这种方式把数据库的分布式从代码中解耦出来，程序员察觉不出来后台使用 Mycat 还是 MySQL。

第二章 安装启动

2.1 安装

1、解压后即可使用 解压缩文件拷贝到 linux 下 /usr/local/

2、三个配置文件

①schema.xml：定义逻辑库，表、分片节点等内容

②rule.xml：定义分片规则

③server.xml：定义用户以及系统相关变量，如端口等

2.2 启动

1、修改配置文件server.xml 修改用户信息，与MySQL区分，如下：

2、修改配置文件 schema.xml

3、验证数据库访问情况

4、启动程序

①控制台启动 ：去 mycat/bin 目录下执行 ./mycat console

②后台启动 ：去 mycat/bin 目录下 ./mycat start 为了能第一时间看到启动日志，方便定位问题，我们选择①控制台启动。

第三章 搭建读写分离

我们通过 Mycat 和 MySQL 的主从复制配合搭建数据库的读写分离，实现 MySQL 的高可用性。 我们将搭建：一主一从、双主双从两种读写分离模式。

3.1 搭建一主一从

一个主机用于处理所有写请求，一台从机负责所有读请求，架构图如下

1、 搭建 MySQL 数据库主从复制

① MySQL 主从复制原理

 ② 主机配置

③ 从机配置

④ 主机、从机重启 MySQL 服务

⑤ 主机从机都关闭防火墙

⑥ 在主机上建立帐户并授权 slave

#在主机MySQL里执行授权命令

GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' IDENTIFIED BY '123123';

⑦ 在从机上配置需要复制的主机

⑧ 主机新建库、新建表、insert 记录，从机复制

⑨ 如何停止从服务复制功能

stop slave;

⑩ 如何重新配置主从

stop slave;

reset master;

2、 修改 Mycat 的配置文件 schema.xml 之前的配置已分配了读写主机，是否已实现读写分离？

验证读写分离

（1）在写主机插入：insert into mytbl values (1,@@hostname); 主从主机数据不一致了

（2）在Mycat里查询：select * from mytbl;

修改<dataHost>的balance属性，通过此属性配置读写分离的类型

负载均衡类型，目前的取值有4 种：

（1）balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。

（2）balance="1"，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从 模式(M1->S1，M2->S2，并且 M1 与 M2 互为主备)，正常情况下，M2,S1,S2 都参与 select 语句的负载均衡。

（3）balance="2"，所有读操作都随机的在 writeHost、readhost 上分发。

（4）balance="3"，所有读请求随机的分发到 readhost 执行，writerHost 不负担读压力

3.2 搭建双主双从

一个主机 m1 用于处理所有写请求，它的从机 s1 和另一台主机 m2 还有它的从机 s2 负责所有读请 求。当 m1 主机宕机后，m2 主机负责写请求，m1、m2 互为备机。架构图如下

角色	ip	机器名
master1	192.168.140.128	host79
slave1	192.168.140.127	host80
master2	192.168.140.126	host81
slave2	192.168.140.125	host82

① 双主机配置  Master1配置

修改配置文件：vim /etc/my.cnf

#主服务器唯一ID

server-id=1

#启用二进制日志

log-bin=mysql-bin

# 设置不要复制的数据库(可设置多个)

binlog-ignore-db=mysql

binlog-ignore-db=information_schema

#设置需要复制的数据库

binlog-do-db=需要复制的主数据库名字

#设置logbin格式

binlog_format=STATEMENT

# 在作为从数据库的时候，有写入操作也要更新二进制日志文件

log-slave-updates

#表示自增长字段每次递增的量，指自增字段的起始值，其默认值是1，取值范围是1 .. 65535

auto-increment-increment=2

# 表示自增长字段从哪个数开始，指字段一次递增多少，他的取值范围是1 .. 65535

auto-increment-offset=1

Master2配置

修改配置文件：vim /etc/my.cnf

#主服务器唯一ID

server-id=3

#启用二进制日志 log-bin=mysql-bin

# 设置不要复制的数据库(可设置多个)

binlog-ignore-db=mysql

binlog-ignore-db=information_schema

#设置需要复制的数据库

binlog-do-db=需要复制的主数据库名字

#设置logbin格式

binlog_format=STATEMENT

# 在作为从数据库的时候，有写入操作也要更新二进制日志文件

log-slave-updates

#表示自增长字段每次递增的量，指自增字段的起始值，其默认值是1，取值范围是1 .. 65535

auto-increment-increment=2

# 表示自增长字段从哪个数开始，指字段一次递增多少，他的取值范围是1 .. 65535

auto-increment-offset=2

② 双从机配置

Slave1配置

修改配置文件：vim /etc/my.cnf

#从服务器唯一ID

server-id=2

#启用中继日志 relay-log=mysql-relay

Slave2配置

修改配置文件：vim /etc/my.cnf

#从服务器唯一ID server-id=4

#启用中继日志

relay-log=mysql-relay

#在主机MySQL里执行授权命令

GRANT REPLICATION SLAVE ON *.* TO 'slave'@'%' IDENTIFIED BY '123123';

#查询Master1的状态

show master status;

⑥ 在从机上配置需要复制的主机

Slava1 复制 Master1，Slava2 复制 Master2

#查看从服务器状态

show slave status\G;

#下面两个参数都是Yes，则说明主从配置成功！

# Slave_IO_Running: Yes

# Slave_SQL_Running: Yes

⑦ 两个主机互相复制

Master2 复制 Master1，Master1 复制 Master2

⑩ 如何重新配置主从

stop slave;

reset master;

2、 修改 Mycat 的配置文件 schema.xml

修改<dataHost>的balance属性，通过此属性配置读写分离的类型

负载均衡类型，目前的取值有4 种：

（1）balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。

（2）balance="1"，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从 模式(M1->S1，M2->S2，并且 M1 与 M2 互为主备)，正常情况下，M2,S1,S2 都参与 select 语句的负载均衡。

（3）balance="2"，所有读操作都随机的在 writeHost、readhost 上分发。

（4）balance="3"，所有读请求随机的分发到 readhost 执行，writerHost 不负担读压力

为了双主双从读写分离balance设置为1

3、 启动 Mycat

4、 验证读写分离

第四章 垂直拆分——分库

一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类， 分布到不同 的数据库上面，这样也就将数据或者说压力分担到不同的库上面，如下图：

4.1 如何划分表

分库的原则：有紧密关联关系的表应该在一个库里，相互没有关联关系的表可以分到不同的库里。

4.2 实现分库

1、 修改 schema 配置文件

 

第五章 水平拆分——分表

相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中， 每个表中 包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就 是将表中的某些行切分 到一个数据库，而另外的某些行又切分到其他的数据库中，如图：

 

5.1 实现分表

1、 选择要拆分的表 MySQL 单表存储数据条数是有瓶颈的，单表达到 1000 万条数据就达到了瓶颈，会影响查询效率， 需要进行水平拆分（分表）进行优化。

2、 可以根据不同自字段进行分表 

3、 修改配置文件 schema.xml