数据库中间件 MyCAT 读写分离实现

Mycat 是一个开源的分布式数据库系统，但是由于真正的数据库需要存储引擎，而 Mycat 并没有存 储引擎，所以并不是完全意义的分布式数据库系统。 那么 Mycat 是什么？Mycat 是数据库中间件，就是介于数据库与应用之间，进行数据处理与交互的中间服 务。

MyCAT 是使用 JAVA 语言进行编写开发，使用前需要先安装 JAVA 运行环境(JRE),由于 MyCAT 中使用了 JDK7 中的一些特性，所以要求必须在 JDK7 以上的版本上运行。

部署环境

1. 下载 jdk

shell> wget --no-cookies \
--no-check-certificate \
--header \
"Cookie: oraclelicense=accept-securebackup-cookie" \
http://download.oracle.com/otn-pub/java/jdk/8u181-\
b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-\
x64.tar.gz
​
// --no-check-certificate 表示不校验SSL证书，因为中间的两个302会访问https，会涉及到证书的问题，不校验能快一点，影响不大.

 

1. 解压文件

shell> tar -xf jdk-8u181-linux-x64.tar.gz   -C  /usr/local/
shell> ln -s /usr/local/jdk1.8.0_181/ /usr/local/java

 

1. 配置环境变量

shell> vi /etc/profile.d/java.sh
export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意 CLASSPATH 中有个点 . 不要省略

 

1. 使环境变量生效

// 立刻在当前的 shell 会话中生效
shell> source /etc/profile

全部生效需要重启机器

 

部署 MyCat

 

下载

根据浏览下下方的提示，下载对应的版本

shell> wget http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
​
​

 

解压

shell> tar -xf Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz -C /usr/local/
shell> ls /usr/local/mycat/
bin  catlet  conf  lib  logs  version.txt
​
​

 

认识MyCat 中的概念

逻辑架构图

DBA 或者运维人员对数据进行分片处理之后，从原有的一个库，被切分为多个分片数据库，所有的分片数据库集 群构成了整个完整的数据库存储。

如上图所表示，数据被分到多个分片数据库后，应用如果需要读取数据，就要需要处理多个数据源的数据。 如果没有数据库中间件，那么应用将直接面对分片集群，数据源切换、事务处理、数据聚合都需要应用直接处 理，原本该是专注于业务的应用，将会花大量的工作来处理分片后的问题，最重要的是每个应用处理将是完全的 重复造轮子。 所以有了数据库中间件，应用只需要集中与业务处理，大量的通用的数据聚合，事务，数据源切换都由中间 件来处理，中间件的性能与处理能力将直接决定应用的读写性能，所以一款好的数据库中间件至关重要。

逻辑库(schema)

通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道 数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

 

在云计算时代，数据库中间件可以以多租户的形式给一个或多个应用提供服务，每个应用访问的可能是一个 独立或者是共享的物理库，常见的如阿里云数据库服务器 RDS。

逻辑表（table）

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可 以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。

 

分片规则(rule)

数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到 某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

配置 MyCat

认识配置文件

MyCAT 目前主要通过配置文件的方式来定义逻辑库和相关配置:

• /usr/local/mycat/conf/server.xml

  定义用户以及Mycat系统相关变量，如端口等。其中用户信息是前端应用程序连接 mycat 的用户信息。

• /usr/local/mycat/conf/schema.xml

  定义逻辑库，表、分片和真实库直接的映射关系等内容。

• /usr/local/mycat/conf/rule.xml

       中定义分片规则。

配置 server.xml

以下为代码片段

下面的用户和密码是应用程序连接到 MyCat 使用的，可以自定义配置

而其中的schemas 配置项所对应的值是逻辑数据库的名字，也可以自定义，但是这个名字需要和后面 schema.xml 文件中配置的一致。

shell> vim server.xml
<user name="mycatdb">
    <property name="password">123456</property>
    <property name="schemas">schema_shark_db</property>

    <!-- 表级 DML 权限设置 -->
    <!--
    <privileges check="false">
        <schema name="TESTDB" dml="0110" >
            <table name="tb01" dml="0000"></table>
            <table name="tb02" dml="1111"></table>
        </schema>
    </privileges>
    -->
</user>

<!--下面是另一个用户，并且设置的访问 TESTED 逻辑数据库的权限是 只读
<user name="user">
        <property name="password">user</property>
        <property name="schemas">TESTDB</property>
        <property name="readOnly">true</property>
</user>
-->

==上面的配置中，假如配置了用户访问的逻辑库，那么必须在 schema.xml 文件中也配置这个逻辑库，否则报错，启动 mycat 失败==

配置 schema.xml

以下是配置文件中的每个部分的配置块儿

逻辑库和分表设置

 

<schema name="schema_shark_db"   // 逻辑库名称
        checkSQLschema="false"   // 不检查
        sqlMaxLimit="100"        // 最大连接数
        dataNode='dn1'>          // 数据节点名称
<!--这里定义的是分表的信息-->
</schema>

数据节点

<dataNode name="dn1"              // 此数据节点的名称
          dataHost="localhost1"   // 主机组
          database="shark_db">    // 真实的数据库名称
</dataNode>

主机组

<dataHost name="localhost1"
            maxCon="1000" minCon="10"   // 连接
            balance="3"                 // 负载均衡
            writeType="0"               // 写模式配置
            dbType="mysql" dbDriver="native" // 数据库配置
            switchType="1" slaveThreshold="100">
    <!--这里可以配置关于这个主机组的成员信息，和针对这些主机的健康检查语句-->
</dataHost>

健康检查

<heartbeat>select user()</heartbeat>

读写配置

<writeHost host="hostM1" 
           url="172.16.153.10:3306"
           user="root" password="123">
      <!-- can have multi read hosts -->
      <readHost host="hostS2" 
                url="172.16.153.11:3306"
                user="root" password="123" 
      />
      <readHost host="hostS2" 
                url="172.16.153.12:3306"
                user="root" password="123"
      />
</writeHost>

以下是组合为完整的配置文件，适用于一主一从的架构

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

  <schema name="schema_shark_db" 
          checkSQLschema="false"
          sqlMaxLimit="100" 
          dataNode='dn1'>
    <!--这里定义的是分库分表的信息-->
  </schema>

  <!--下面是配置读写分离的信息-->
  <dataNode name="dn1"
            dataHost="localhost1" database="shark_db">
  </dataNode>

  <dataHost name="localhost1"
            maxCon="1000" minCon="10"
            balance="3" writeType="0"
            dbType="mysql" dbDriver="native"
            switchType="1" slaveThreshold="100">
    
    <heartbeat>select user()</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="172.16.153.10:3306"
               user="mycat" password="QFedu123!">
      <!-- can have multi read hosts -->
      <readHost host="hostS2" url="172.16.153.11:3306"
                user="mycat" password="QFedu123!" />
    </writeHost>
  </dataHost>
</mycat:schema>

配置 log4j2.xml

<!--设置日志级别为 debug , 默认是 info-->
<asyncRoot level="a" includeLocation="true">

启动 mycat

shell> /usr/local/mycat/bin/mycat  start
​
支持一下参数
start | restart |stop | status

 

在真实的 master 数据库上给用户授权

mysql> grant all on *.* to 'mycat'@'%' identified by 'QFedu123!';
mysql> flush privileges;

测试

在 mycat 的机器上测试用户权限有效性

测试是否能正常登录上 主服务器

shell> mysql -umycat -p'QFedu123!' -h172.16.153.10
​

继续测试是否能登录上从服务器

shell> mysql -umycat -p'QFedu123!' -h172.16.153.11

通过客户端进行测试是否能登录到 mycat 上

172.16.153.162 是 mycat 的主机地址

注意端口号是 8066

shell> mysql -umycatdb -p123456 -P8066 -h172.16.153.162
mysql> show databases;
+-----------------+
| DATABASE        |
+-----------------+
| schema_shark_db |
+-----------------+
1 row in set (0.00 sec)

继续测试读写分离策略

使用 mysql 客户端工具使用 mycat 的账户和密码登录 mycat , 之后执行 select 语句。

[root@master mycat]# mysql -umycatdb -p'123456' -P 8066  -h 172.16.153.162
mysql> show databases;
+-----------------+
| DATABASE        |
+-----------------+
| schema_shark_db |
+-----------------+
1 row in set (0.00 sec)

mysql> use schema_shark_db;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select name from t1 where name='shark';
+-------+
| name  |
+-------+
| shark |
+-------+
1 row in set (0.01 sec)

mysql>

之后查询 mycat 主机上 mycat 安装目录下的 logs/mycat.log 日志。

在日志重搜索查询的语句或者查询 从库的 ip 地址，应该能搜索到

[root@master mycat]# pwd
/usr/local/mycat
[root@master mycat]# grep  'name'  logs/mycat.log|grep 122.161

报错

ERROR | wrapper | 2019/06/23 22:52:15 | Startup failed: Timed out waiting for a signal from the JVM. ERROR | wrapper | 2019/06/23 22:52:15 | JVM did not exit on request, terminated

 

修改文件 conf/wrapper.conf

wrapper.startup.timeout=300 //超時時間300秒 
wrapper.ping.timeout=120

关于负载均衡和读写分离的配置

balance 属性
负载均衡类型,目前的取值有 3 种:
1. balance="0", 不开启读写分离机制,所有读操作都发送到当前可用的 writeHost 上。
2. balance="1", 全部的 readHost 与 writeHost 参与 select 语句的负载均衡,简单的说,当双 主双从模式(M1->S1,M2->S2,并且 M1 与 M2 互为主备),正常情况下,M2,S1,S2 都参与 select 语句 的负载均衡。
3. balance="2", 所有读操作都随机的在 writeHost、readhost 上分发。
4. balance="3", 所有读请求随机的分发到对应的 readhost 执行,writerHost 不 负担读压力,注意 balance=3 只在 1.4 及其以后版本有,1.3 没有。

writeType 属性
1. writeType="0", 所有写操作发送到配置的第一个 writeHost,第一个挂了切换到还生存的第二个 writeHost,重新启动后已切换后的为准.
2. writeType="1",所有写操作都随机的发送到配置的 writeHost,#版本1.5 以后废弃，不推荐。

结论:
 实现读写分离的设置
balance="3"
writeType="0"