分库分表mycat

最新推荐文章于 2024-04-30 02:32:29 发布

weixin_43751710

最新推荐文章于 2024-04-30 02:32:29 发布

阅读量169

点赞数

分类专栏：集群数据库

原文链接：https://www.cnblogs.com/ijavanese/p/9512369.html

版权

数据库同时被 2 个专栏收录

39 篇文章 0 订阅

订阅专栏

集群

16 篇文章 0 订阅

订阅专栏

Mycat典型的应用场景

单纯的读写分离，此时配置最为简单，支持读写分离，主从切换；
分表分库，对于超过1000万的表进行分片，最大支持1000亿的单表分片；
多租户应用，每个应用一个库，但应用程序只连接Mycat，从而不改造程序本身，实现多租户化；
报表系统，借助于Mycat的分表能力，处理大规模报表的统计；
替代Hbase，分析大数据。作为海量数据实时查询的一种简单有效方案，比如100亿条频繁查询的记录需要在3秒内查询出来结果，除了基于主键的查询，还可能存在范围查询或其他属性查询，此时Mycat可能是最简单有效的选择。

Mycat不适用的场景

设计使用Mycat时有非分片字段查询，请慎重使用Mycat，可以考虑放弃！
设计使用Mycat时有分页排序，请慎重使用Mycat，可以考虑放弃！
设计使用Mycat时如果要进行表JOIN操作，要确保两个表的关联字段具有相同的数据分布，否则请慎重使用Mycat，可以考虑放弃！
设计使用Mycat时如果有分布式事务，得先看是否得保证事务得强一致性，否则请慎重使用Mycat，可以考虑放弃！

Mycat原理

Mycat的原理中最重要的一个动词是“拦截”，它拦截了用户发送过来的SQL语句，首先对SQL语句做了一些特定的分析：如分片分析、路由分析、读写分离分析、缓存分析等，然后将此SQL发往后端的真实数据库，并将返回的结果做适当的处理，最终再返回给用户。
在这里插入图片描述
上述图片里，应用程序不再直接访问数据库，而是访问Mycat，由Mycat与数据库交互，数据库数据返回给Mycat，Mycat再返回给应用程序。三个Database才是真正的数据库，又称为三个节点，也称为三个分片。

只有一台Mycat服务器挂掉了怎么办

这时就需要用到Mycat集群，也就是说，上面的Mycat中间件并不是只有一台服务器，可以是一个mycat集群。

下图是一个典型的Mycat系统高可用的方案：
在这里插入图片描述

但是这种情况haproxy 挂掉就不行，最终的方案如下：
haproxy + keepalived + mycat高可用与负载均衡集群配置
在这里插入图片描述
注意：

keepalived和haproxy必须装在同一台机器上（如172.17.210.210.83机器上，keepalived和haproxy都要安装）
keepalived负责为该服务器抢占vip（虚拟ip），抢占到vip后，对该主机的访问可以通过原来的ip（172.17.210.210.83）访问，也可以直接通过vip（172.17.210.210.103）访问。
抢占vip时有优先级，配置keepalived.conf中的（priority 150 #数值愈大，优先级越高,172.17.210.64上改为120，master和slave上该值配置不同）决定。但是一般哪台主机上的keepalived服务先启动就会抢占到vip，即使是slave，只要先启动也能抢到。
haproxy负责将对vip的请求分发到mycat上，起到负载均衡的作用，同时haproxy也能检测到mycat是否存活，haproxy只会将请求转发到存活的mycat上。

流程机制为：

用户（业务系统）发来数据库请求。
keepalived为该服务器抢占vip（虚拟ip），172.17.210.83这台机器抢到vip。
172.17.210.83这台机器上的haproxy将对vip的请求分发到mycat上，检测哪些mycat是存活的，并通过负载均衡选择一台Mycat服务器。
如果一台服务器（keepalived+haproxy服务器）宕机，另外一台上的keepalived会立刻抢占vip并接管服务。
如果一台mycat服务器宕机，haporxy转发时不会转发到宕机的mycat上，所以mycat依然可用。

https://blog.csdn.net/wangshuang1631/article/details/68947126

实例查询语句讲解

在这里插入图片描述

Orders表被分为三个分片datanode（简称dn)，这三个分片是分布在三台MySQL Server上(DataHost)。
当Mycat收到一个SQL时，会先解析这个SQL，查找涉及到的表，然后看此表的定义，如果有分片规则，则获取到SQL里分片字段的值，并匹配分片函数，得到该SQL对应的分片列表。
然后将SQL发往这些分片去执行。
最后收集和处理所有分片返回的结果数据，并输出到客户端。

以select * from Orders where prov=?语句为例，查到prov=wuhan，按照分片函数，wuhan返回dn1，于是SQL就发给了MySQL1，去取DB1上的查询结果，并返回给用户。

如果上述SQL改为select * from Orders where prov in (‘wuhan’,‘beijing’)，那么，SQL就会发给MySQL1与MySQL2去执行，然后结果集合并后输出给用户。但通常业务中我们的SQL会有Order By 以及Limit翻页语法，此时就涉及到结果集在Mycat端的二次处理。

https://blog.csdn.net/l1394049664/article/details/81814295

Mycat实现

Mycat的配置文件都在conf目录里面，这里介绍几个常用的文件：

server.xml Mycat的配置文件，设置账号、参数等
schema.xml Mycat对应的物理数据库和数据库表的配置
rule.xml Mycat分片（分库分表）规则

1、server.xml Mycat的配置文件，设置账号、参数等

<user name="test">
        <property name="password">test</property>  
        <property name="schemas">lunch</property>  
        <property name="readOnly">false</property>  
        
        <!-- 表级 DML 权限设置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

user 用户配置节点
name 登录的用户名，也就是连接Mycat的用户名
password 登录的密码，也就是连接Mycat的密码
schemas 数据库名，这里会和schema.xml中的配置关联，多个用逗号分开，例如需要这个用户需要管理两个数据库db1,db2，则配置db1,dbs
privileges 配置用户针对表的增删改查的权限，具体见文档

2、schema.xml：Mycat对应的物理数据库和数据库表的配置。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <!-- 数据库配置，与server.xml中的数据库对应 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
　　　　 <!-- 分库写表 -->
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />
    </schema>

    <!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />
    <dataNode name="dn2" dataHost="test2" database="lunch" />

    <!-- 物理数据库配置，可配置读写分离 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
            <readHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"></readHost>
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <!-- 心跳检测语句，注意语句结尾的分号要加 -->
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>

PS: lunchmenu、restaurant、userlunch、users这些表都只写入节点dn1，也就是192.168.0.2这个服务，而dictionary写入了dn1、dn2两个节点，也就是192.168.0.2、192.168.0.3这两台服务器。

3、rule.xml：Mycat分片（分库分表）规则。

<tableRule name="mod-long">
        <rule>
            <!-- t1的分片列 -->
            <columns>id</columns>           
            <algorithm>mod-long</algorithm>
        </rule>
</tableRule>

<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <!-- count值与分片个数相同 -->
        <property name="count">2</property> 
</function>

columns标签指定了分片的列
algorith 标签中指定了分片的方法，是mod-long，这是简单取模的方法。
function 标签中说明了 mod-long 方法的参数、算法

4、读写分离案例：schema.xml中配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

　　 <!-- 数据库配置，与server.xml中的数据库对应 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1"  />
    </schema>

　　 <!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />


　　 <!-- 物理数据库配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        　　<readHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"></readHost>
        </writeHost>
    </dataHost>

</mycat:schema>

ps：MyCat没有实现主从复制，需要使用数据库本身自带的这个功能来实现。

分片的四种算法

在 rule.xml 中配置了分片的算法，一共有四种算法：

简单取模（如上）
哈希取模
分片枚举
字符串范围取模分片

1. 简单取模（如上）

简单取模就是上面 rule.xml 中的实现。

可以用于分片整数类型的表。

算法为：分片列 mod 分片基数（比如 id mod 2，就表示以id进行分片，共分为两片）。

2. 哈希取模

实现与简单取模类似，只是class不同

<tableRule name="mod-long">
        <rule>
            <!-- t1的分片列 -->
            <columns>id</columns>           
            <algorithm>mod-long</algorithm>
        </rule>
</tableRule>

<function name="mod-long" class="io.mycat.route.function.PartitionByHashMod">
        <!-- how many data nodes -->
        <!-- count值与分片个数相同 -->
        <property name="count">2</property> 
</function>