Mycat概述

---

前言

Mycat全局表
如果你的业务中有些数据类似于数据字典，比如配置文件的配置，常用业务的配置或者数据量不大很少变动的表，这些表往往不是特别大，而且大部分的业务场景都会用到，那么这种表适合于Mycat全局表，无须对数据进行切分，只要在所有的分片上保存一份数据即可，Mycat在Join操作中，业务表与全局表进行Join聚合会优先选择相同分片内的全局表join，避免跨库Join，在进行数据插入操作时，mycat将把数据分发到全局表对应的所有分片执行，在进行数据读取时候将会随机获取一个节点读取数据。
目前Mycat没有做全局表的数据—致性检查，后续版本1.4之后可能会提供全局表—致性检查，检查每个分片的数据一致性。全局表的配置如下

ER分片表
有一类业务，例如订单(order）跟订单明细(order_detail) ,明细表会依赖于订单，也就是说会存在表的主从关系，这类似业务的切分可以抽象出合适的切分规则，比如根据用户ID切分,其他相关的表都依赖于用户ID，再或者根据订单ID切分，总之部分业务总会可以抽象出父子关系的表。这类表适用于ER分片表，子表的记录与所关联的父表记录存放在同一个数据分片上，避免数据Join跨库操作。
以order与order_detail例子为例,schema.xml中定义如下的分片配置,order,prder_detail 根据order_id进行数据切分，保证相同order_id的救据分到同一个分片上，在进行数据插入操作时，Mycat会获取order所在的分片，然后将order_detail也插入到order所在的分片。

一、MyCat是什么？

MyCat是一个强大的数据库中间件,不仅仅可以用作读写分离、以及分表分库、客灾备份，而且可以用于多租户应用开发、云平台基础设施、让你的架构具备很强的适应性和灵活性，借助于即将发布的MyCat智能优化模块，系统的数据访问瓶颈和热点一目了然，根据这些统计分析数据，你可以自动或手工调整后端存储，将不同的表映射到不同存储引擎上，而整个应用的代码一行也不用改变

二、应用场景

• 单纯的读写分离，此时配置最为简单，支持读写分离，主从切换
• 分表分库，对于超过1000万的表进行分片，最大支持1000亿的单表分片
• 多租户应用，每个应用一个库，但应用程序只连接MyCat，从而不改造程序本身，实现多租户化·报表系统，借助于MyCat的分表能力，处理大规模报表的统计
• 替代 Hbase，分析大数据
• 作为海量数据实时查询的一种简单有效方案，比如100亿条频繁查询的记录需要在3秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时 MyCat可能是最简单有效的选择

三、什么是分库分表（数据切分)

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机)上面|以达到分散单台设备负载的效果

3.1垂直切分（数据库的切分）

垂直切分是根据业务来拆分数据库，同一类业务的数据表拆分到一个独立的数据库，另一类的数据表拆分到其他数据库。

优点

• 拆分后业务清晰，拆分规则明确
• 系统之间整合或扩展容易
• 数据维护简单

缺点

• 部分业务表无法join，只能通过接口方式解决，提高了系统复杂度。
• 受每种业务不同的限制存在单库性能瓶颈，不易数据扩展跟性能提高。
• 事务处理复杂

垂直切分解决了什么问题
垂直切分可以降低单节点数据库的负载。原来所有数据表都放在一个数据库节点上，无疑所有的读写请求也都发到这个MySQL上面，所以数据库的负载太高。如果把一个节点的数据库拆分成多个MySQL数据库，这样就可以有效的降低每个MySQL数据库的负载。

垂直切分不能解决什么问题
垂直切分不能解决的是缩表，比如说商品表无论划分给哪个数据库节点，商品表的记录还是那么多，不管你把数据库垂直拆分的有多细致，每个数据表里面的数据量是没有变化的。
MySQL单表记录超过2000万，读写性能会下降的很快，因此说垂直切分并不能起到缩表的效果

3.2 什么是水平切分？（表的切分）

水平切分是按照某个字段的某种规则，把数据切分到多张数据表。一张数据表化整为零，拆分成多张数据表，这样就可以起到缩表的效果了。

常见分片方案:_

• 按照用户ID求模，将数据分散到不同的数据库，具有相同数据用户的数据都被分散到一个库中
• 按照日期，将不同月甚至日的数据分散到不同的库中
• 按照某个特定的字段求摸，或者根据特定范围段分散到不同的库中

·优点

• 拆分规则抽象好，join操作基本可以数据库做。不存在单库大数据，高并发的性能瓶颈
• 应用端改造较少
• 提高了系统的稳定性跟负载能力

·缺点

• 拆分规则难以抽象
• 分片事务一致性难以解决
• 数据多次扩展难度跟维护量极大。跨库join性能较差

四、使用步骤

1.创建三个数据库（这里用的是虚拟机）

docker-compose.yaml

version: '3.1'
services:
  mysql-1:
    image: mysql
    container_name: mysql-1
    environment:
      MYSQL_ROOT_PASSWORD: 123456
    command:
      --default-authentication-plugin=mysql_native_password
      --character-set-server=utf8mb4
      --collation-server=utf8mb4_general_ci
      --explicit_defaults_for_timestamp=true
      --lower_case_table_names=1
    ports:
      - 3307:3306
    volumes:
      - ./data1:/var/lib/mysql
  mysql-2:
    image: mysql
    container_name: mysql-2
    environment:
      MYSQL_ROOT_PASSWORD: 123456
    command:
      --default-authentication-plugin=mysql_native_password
      --character-set-server=utf8mb4
      --collation-server=utf8mb4_general_ci
      --explicit_defaults_for_timestamp=true
      --lower_case_table_names=1
    ports:
      - 3308:3306
    volumes:
      - ./data2:/var/lib/mysql
  mysql-3:
    image: mysql
    container_name: mysql-3
    environment:
      MYSQL_ROOT_PASSWORD: 123456
    command:
      --default-authentication-plugin=mysql_native_password
      --character-set-server=utf8mb4
      --collation-server=utf8mb4_general_ci
      --explicit_defaults_for_timestamp=true
      --lower_case_table_names=1
    ports:
      - 3309:3306
    volumes:
      - ./data3:/var/lib/mysql																														

2.运行docker-compose up -d

docker-compose up -d

3.使用mycat 合成一个数据库

3.1 下载 mycat 解压

3.2 进入mycat 配置 schemal（数据库）

其他分片规则
链接: https://www.cnblogs.com/shaolixin/p/11484072.html.

[root@base mycat]# cat schema.xml 

代码如下（示例）：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

        <schema name="myshop" dataNode="dataNode1" checkSQLschema="true" sqlMaxLimit="100">
                <!--subTables="boards_$0-127"-->
                <table
                                name="t_goods"
                                dataNode="dataNode1,dataNode2,dataNode3"
                                rule="auto-sharding-long"/>
        </schema>

        <dataNode name="dataNode1" dataHost="dataHost1" database="mysql01" />
        <dataNode name="dataNode2" dataHost="dataHost2" database="mysql02" />
        <dataNode name="dataNode3" dataHost="dataHost3" database="mysql03" />
        <!--
        balance
                0, 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上。
                1，全部的readHost与stand by writeHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡。
                2，所有读操作都随机的在writeHost、readhost上分发。
                3，所有读请求随机的分发到wiriterHost对应的readhost执行，writerHost不负担读压力

        writeType 表示写模式
                0，所有的操作发送到配置的第一个writehost
                1，随机发送到配置的所有writehost
                2，不执行写操作

        switchType 指的是切换的模式，目前的取值也有4种：
                -1，表示不自动切换
                 1，默认值，表示自动切换
                 2，基于MySQL主从同步的状态决定是否切换,心跳语句为show slave status
                 3，基于MySQL galary cluster的切换机制（适合集群）（1.4.1），心跳语句为show status like ‘wsrep%‘。
        -->
        <dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="-1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <writeHost
                                host="192.168.182.131"
                                url="jdbc:mysql://192.168.182.131:3307?useSSL=false&amp;serverTimezone=UTC&amp;characterEncoding=utf8"
                                user="root" password="123456">
                        <!--<readHost host="192.168.182.131" url="192.168.182.131:3308" user="root" password="123456" />-->
                </writeHost>
        </dataHost>
        <dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="-1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <writeHost
                                host="192.168.182.131"
                                url="jdbc:mysql://192.168.182.131:3308?useSSL=false&amp;serverTimezone=UTC&amp;characterEncoding=utf8"
                                user="root" password="123456">
                        <!--<readHost host="192.168.1.104" url="192.168.1.104:3306" user="druid" password="druid" />-->
                </writeHost>
        </dataHost>
        <dataHost name="dataHost3" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="jdbc" switchType="-1" slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <writeHost
                                host="192.168.182.131"
                                url="jdbc:mysql://192.168.182.131:3309?useSSL=false&amp;serverTimezone=UTC&amp;characterEncoding=utf8"
                                user="root" password="123456">
                        <!--<readHost host="192.168.1.104" url="192.168.1.104:3306" user="root" password="123456" />-->
                </writeHost>
        </dataHost>

</mycat:schema>

3.3 给刚才的myshop 配置用户名和密码

[root@base mycat]# cat server.xml 

代码如下（示例）：

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
        - you may not use this file except in compliance with the License. - You
        may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
        - - Unless required by applicable law or agreed to in writing, software -
        distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
        WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
        License for the specific language governing permissions and - limitations
        under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
                <!-- default 8066 -->
                <property name="serverPort">8066</property>
        <property name="managerPort">9066</property>


        <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0，设置为1则需要指定默认账户-->
        <property name="nonePasswordLogin">0</property>
        <property name="useHandshakeV10">1</property>


        <property name="charset">utf8mb4</property>
        <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
        <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

        <property name="sequnceHandlerType">2</property>
        <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
        <!-- <property name="processorBufferChunk">40960</property> -->
        <!--
        <property name="processors">1</property>
        <property name="processorExecutor">32</property>
         -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>

        <!--
        off heap for merge/order/group/limit      1开启   0关闭
    -->
        <property name="useOffHeapForMerge">1</property>

        <!--
            单位为m
        -->
        <property name="memoryPageSize">1m</property>

        <!--
            单位为k
        -->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--
            单位为m
        -->
        <property name="systemReserveMemorySize">384m</property>


        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">false</property>


    </system>

    <!-- 全局SQL防火墙设置
    <firewall>
       <whitehost>
          <host host="172.18.0.2" user="root"/>
          <host host="172.18.0.3" user="root"/>
                <host host="172.18.0.4" user="root"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>-->

    <!-- Mycat 数据库用户名 -->
    <user name="root">
        <!-- Mycat 数据库密码 -->
        <property name="password">123456</property>

        <!-- Mycat 数据库名 -->
        <property name="schemas">myshop</property>

        <!-- 是否使用加密的密码，0 表示不使用加密的密码 -->
        <property name="usingDecrypt">0</property>

        <!-- 表级 DML 权限设置 -->
        <!--
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>
         -->
    </user>

</mycat:server>

4: 启动mycat

五.主从复制和读写分离

• 主从复制（Master-Slave）的方式来同步数据
  增加高可用性

原理:mysq]要做到主从复制，其实依靠的是二进制日志，即∶假设主服务器叫A，从服务器叫B;主从复制就是B跟着A学，A做什么，B就做什么。那么B怎么同步A的动作呢?现在A有一个日志功能，把自己所做的增删改查的动作全都记录在日志中，B只需要拿到这份日志，照着日志上面的动作施加到自己身上就可以了。这样就实现了主从复制。

• 读写分离
  主机写从机读

• mysql 主从复制的原理是什么 【mycat 不管主从复制】
  

总结

功能	作用
分表分库	海量数据
主从复制	高可用
读写分离	高并发