MySQL数据库中的读写分离

MyCAT读写分离

Mycat 是一个开源的数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有存储引擎，所以并不是完全意义的数据库系统。 Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服务。

MyCAT 是使用 JAVA 语言进行编写开发，使用前需要先安装 JAVA 运行环境(JRE),由于 MyCAT 中使用了 JDK7 中的一些特性，所以要求必须在 JDK7 以上的版本上运行。

步骤讲解

实验环境：
数据库 mysql 5.7 或 mariadb 5.5 版本 2台 1G
数据库中间件 mycat 需要 1台 2G
配置文件路径 /usr/local/mycat/conf/
server.xml
schema.xml

• 1、在mycat机器上面做解析，解析后端的数据库服务器
• 2、上传jdk的包，写java的环境变量，并source 让它生效
• 3、下载mycat的包，并解压
• 4、修改mycat的配置文件server.xml
• 5、修改mycat的schema.xml
• 6、启动mycat，并检查
• 7、在真实的后端数据库上给用户授权
• 8、使用mysql的客户端登录 mycat机器的8066端口
• 9、登录成功之后，检测
• 10、关于负载均衡模式的介绍

一、服务器解析，3台都要做

ip	主机名	用途和配置
172.17.209.179	Mycat	Mycat 1核2G
172.17.209.180	Master	主数据库 1核1G
172.17.209.178	Slave	从数据库 1核1G

服务器做解析

[root@mycat ~]# vim /etc/hosts
172.17.209.180  mysql-master
172.17.209.178  mysql-slave
172.17.209.179  mycat

点击回到步骤讲解

二、Mycat服务器部署JAVA环境

1 下载JDK

官网下载  https://www.oracle.com/java/technologies/javase-jdk8-downloads.html
这里使用现成的包即可

2 解压文件

[root@mycat ~]# tar -xf jdk-8u211-linux-x64.tar.gz -C  /usr/local/
# -C 将压缩包解压到某个文件夹，此文件夹必须存
[root@mycat ~]# mv /usr/local/jdk1.8.0_211 /usr/local/java

3 配置环境变量

[root@mycat ~]# vim /etc/profile.d/java.sh #(禁止手敲哦)
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

使环境变量生效
[root@mycat ~]# source /etc/profile.d/java.sh

验证java环境是否正常
[root@mycat ~]# java -version
java version "1.8.0_211"
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)

点击回到步骤讲解

三、Mycat服务器部署Mycat服务

下载
[root@mycat ~]# wget http://dl.mycat.io/1.6.5/Mycat-server-1.6.5-release-20180122220033-linux.tar.gz
解压
[root@mycat ~]# tar xf Mycat-server-1.6.5-release-20180122220033-linux.tar.gz -C /usr/local

点击回到步骤讲解

1、配置Mycat

认识配置文件

MyCAT 目前主要通过配置文件的方式来定义逻辑库和相关配置:

/usr/local/mycat/conf/server.xml 定义用户以及系统相关变量，如端口等。其中用户信息是前端应用程序连接 mycat 的用户信息。

/usr/local/mycat/conf/schema.xml 定义逻辑库，表、分片节点等内容。

2、配置 server.xml

以下为代码片段

下面的用户和密码是应用程序连接到 MyCat 使用的，可以自定义配置

而其中的schemas 配置项所对应的值是逻辑数据库的名字，也可以自定义，但是这个名字需要和后面 schema.xml 文件中配置的一致。

在我们的测试环境中，我们只留下对于一个用户的配置

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
        <user name="root" defaultAccount="true">  # 对于账号的配置
                <property name="password">12345678</property>
          # 虚拟账号所需要的密码
                <property name="schemas">TESTDB</property>
          # 虚拟库的名称
        </user>
</mycat:server>

点击回到步骤讲解

关于server.xml的配置解释

vim server.xml
<!--下面的用户和密码是应用程序连接到 MyCat 使用的.schemas 配置项所对应的值是逻辑数据库的名字,这个名字需要和后面 schema.xml 文件中配置的一致。-->

       <user name="newrain" defaultAccount="true">
                <property name="password">123456</property>
                <property name="schemas">testdb</property>
                
                <!-- 表级 DML 权限设置 -->
                <!--            
                <privileges check="false">
                        <schema name="TESTDB" dml="0110" >
                                <table name="tb01" dml="0000"></table>
                                <table name="tb02" dml="1111"></table>
                        </schema>
                </privileges>           
                 -->
        </user>
<!--下面是另一个用户，并且设置的访问 TESTED 逻辑数据库的权限是 只读
        <!--user name="mycatuser">
                <property name="password">123456</property>
                <property name="schemas">testdb</property>
                <property name="readOnly">true</property>
        </user-->
-->
</mycat:server>

上面的配置中，假如配置了用户访问的逻辑库，那么必须在 schema.xml 文件中也配置这个逻辑库，否则报错，启动 mycat 失败

3、配置schema.xml

以下是配置文件中的每个部分的配置块儿，最总配置查看小节最后。

逻辑库和分表设置

<schema name="testdb"           // 逻辑库名称,与server.xml的一致
        checkSQLschema="false"    // 不检查sql
        sqlMaxLimit="100"         // 最大连接数
        dataNode="dn1">        //  数据节点名称
<!--这里定义的是分表的信息-->        
</schema>

数据节点

<dataNode name="dn1"             // 此数据节点的名称
          dataHost="localhost1"     // 主机组
          database="testdb" />  // 真实的数据库名称

主机组

<dataHost name="localhost1"                       // 主机组
          maxCon="1000" minCon="10"               // 连接
          balance="0"                             // 负载均衡
          writeType="0"                           // 写模式配置
          dbType="mysql" dbDriver="native"        // 数据库配置
          switchType="1"  slaveThreshold="100">
<!--这里可以配置关于这个主机组的成员信息，和针对这些主机的健康检查语句-->
</dataHost>

负载均衡模式

balance 属性
负载均衡类型,目前的取值有 3 种:
1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。
2. balance="1", 全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡,简单的说,当双主双从模式(M1->S1,M2->S2,并且 M1 与 M2 
    互为主备),正常情况下,M2,S1,S2 都参与 select 语句的负载均衡。
4. balance="2", 所有读操作都随机的在 writeHost、readhost 上分发。
5. balance="3", 所有读请求随机的分发到 wiriterHost 对应的 readhost 执行,writerHost 不负担读压力,注意 balance=3 只在 1.4 及其以后版本有,1.3 没有。

writeType 属性
负载均衡类型
1. writeType="0", 所有写操作发送到配置的第一个 writeHost,第一个挂了切到还生存的第二个writeHost,重新启动后已切换后的为准.
2. writeType="1",所有写操作都随机的发送到配置的 writeHost,1.5 以后废弃不推荐。

健康检查

<heartbeat>select user()</heartbeat>	

读写配置

<writeHost host="hostM1" url="mysql-master:3306" user="root" password="Xiaobai@12345">
                        <!-- can have multi read hosts -->
<readHost host="hostS2" url="mysql-slave:3306" user="root" password="Xiaobai@12345" />
</writeHost>

以下是组合为完整的配置文件，适用于一主一从的架构

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

  <schema name="testdb" 
        checkSQLschema="false" 
        sqlMaxLimit="100" 
        dataNode="dn1"> 
   <!--这里定义的是分库分表的信息-->     
   </schema>
   

  <dataNode name="dn1" 
          dataHost="localhost1" database="testdb" />
        
        
  <dataHost name="localhost1" 
            maxCon="1000" minCon="10" 
            balance="0"
            writeType="0" 
            dbType="mysql" dbDriver="native" 
            switchType="1"  slaveThreshold="100">
            
            
   <heartbeat>select user()</heartbeat>
       <!-- can have multi write hosts -->
   <writeHost host="hostM1" url="mysql-master:3306" 
              user="mycat"  password="Xiaobai@12345">
      <!-- can have multi read hosts -->
      <readHost host="mycat" url="mysql-slave:3306" 
                user="root" password="Xiaobai@12345" />
     </writeHost>
   </dataHost>
</mycat:schema>

点击回到步骤讲解

四、启动 mycat

[root@mycat ~]# /usr/local/mycat/bin/mycat  start

支持一下参数
start | restart |stop | status

# 检测是否正常启动,有两个进程则为启动状态
[root@mycat conf]# jps
4087 WrapperSimpleApp
4618 Jps

# 检查端口号 8066 登录mycat的端口号 9066 是mycat 连接数据库的端口号
[root@mycat conf]# ss -tnlp
State      Recv-Q Send-Q Local Address:Port               Peer Address:Port              
LISTEN     0      100           *:9066                      *:*                   users:(("java",pid=4087,fd=74))
(("java",pid=4087,fd=4))
LISTEN     0      100           *:8066                      *:*                   users:(("java",pid=4087,fd=78))

点击回到步骤讲解

五、在真实的后端数据库上给用户授权

mysql> grant all on *.* to mycat@'%' identified by 'Xiaobai@12345';
mysql> flush privileges;

# 如果你的两台机器已经是主从复制状态，创建一次，如果不是，创建两次

# 测试连接，没有问题退出即可，主从两台相互测试
mysql -umycat -p'Xiaobai@12345' -h mysql-master
mysql -umycat -p'Xiaobai@12345' -h mysql-slave

点击回到步骤讲解

六、登录mycat测试

注意端口号是 8066,测试登录mycat，是否成功

[root@mycat mycat]# mysql -uroot -p'12345678' -P 8066 -h mycat

MySQL [(none)]> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB   |
+----------+

点击回到步骤讲解

七、测试读写分离策略

继续测试读写分离策略

MySQL [(none)]> use TESTDB  -- 这个是我们上面设置的虚拟库
MySQL [TESTDB]> create table t1(id int); -- 创建表成功
1 row in set (0.00 sec)
MySQL [TESTDB]> show tables; -- 查询表时，发现为空
Empty set (0.00 sec)
由此我们得到结论，我们写的时候，写到了主库中，查询的时候，因为查询语句在从库执行，但是我们的主从并没有做同步，所以从库为空。也就是说，我们的读写分离成功了。在企业中，主从数据完全一样，我们的读写分离的好处也就体现了。

之后查询 mycat 主机上 mycat 安装目录下的 logs/mycat.log 日志。

在日志重搜索查询的语句或者查询 从库的 ip 地址，应该能搜索到

[root@mycat ~]# cd /usr/local/mycat/logs
在这个里面记录了web应用对数据库的详细操作