Mycat分库路由规则

最新推荐文章于 2023-04-19 17:08:52 发布
最新推荐文章于 2023-04-19 17:08:52 发布
阅读量1k 收藏 1
点赞数
文章标签： 数据库
原文链接：https://yq.aliyun.com/articles/512924
版权

一、Mycat分库路由分为连续路由和离散路由。

1、连续路由：

（1）、常用的路由方式：auto-sharding-long、sharding-by-date、sharding-by-month

（2）、优点：扩容无需迁移数据；范围条件查询消耗资源少。

（3）、缺点：存在数据热点的可能性；并发访问能力受限于单一或少量的DataNode

2、离线路由：

（1）、常用的路由方式：sharding-by-intfile、sharding-by-murmur、mod-long(取模)、crc32slot(取模)

（2）、优点：并发访问能力增强。

（3）、缺点：数据扩容比较困难，涉及到数据迁移问题；数据库链接消耗资源多。


二、auto-sharding-long：

1、路由规则：

<tableRule name="auto-sharding-long-userid">

      <rule>

             <columns>userid</columns>

             <algorithm>rang-long-userid</algorithm>

      </rule>

</tableRule>

 

<function name="rang-long-userid"

        class="io.mycat.route.function.AutoPartitionByLong">

        <property name="mapFile">autopartition-long-userid.txt</property>

</function>

[root@host01 conf]# more autopartition-long-userid.txt

# range start-end ,data node index

# K=1000,M=10000.

0-1000=0

1001-2000=1

2001-3000=2

3001-4000=3

4001-5000=4

5001-6000=5

2、例子：

CREATE TABLE tb_user_detail_t (

  userid bigint not null primary key,

  name varchar(64) DEFAULT NULL,

  createtime datetime DEFAULT CURRENT_TIMESTAMP,

  moditytime datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

写入数据

insert into tb_user_detail_t(userid,name) values(999,'name999');

insert into tb_user_detail_t(userid,name) values(1999,'name999');

insert into tb_user_detail_t(userid,name) values(2999,'name999');

insert into tb_user_detail_t(userid,name) values(3999,'name999');

insert into tb_user_detail_t(userid,name) values(4999,'name999');

insert into tb_user_detail_t(userid,name) values(5999,'name999');

三、sharding-by-date：

1、路由规则：

<tableRule name="sharding-by-date-test">

<rule>

       <columns>createtime</columns>

       <algorithm> partbydate </algorithm>

</rule>

</tableRule>

<function name=" partbydate" class="io.mycat.route.function.PartitionByDate">

    <property name="dateFormat"> yyyy-MM-dd HH:mm:ss </property>

    <property name="sBeginDate">2016-01-01 00:00:00</property>

    <property name="sPartionDay">2</property>

</function>

分片日期从2016-01-01开始,每2天一个分片。

2、例子：

CREATE TABLE `tb_user_partbydate` (

  `id` varchar(32) NOT NULL,

  `name` varchar(64) DEFAULT NULL,

  `createtime` varchar(10)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

insert into tb_user_partbydate (id,name,createtime) values('a0001','name1','2016-01-01 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0002','name1','2016-01-02 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0003','name1','2016-01-03 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0004','name1','2016-01-04 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0005','name1','2016-01-05 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0006','name1','2016-01-06 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0007','name1','2016-01-07 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0005','name1','2016-01-08 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0006','name1','2016-01-09 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0007','name1','2016-01-10 00:01:00');

四、sharding-by-month：

1、路由规则：

<tableRule name="sharding-by-month">

        <rule>

                <columns>createtime</columns>

                <algorithm>partbymonth</algorithm>

        </rule>

</tableRule>

<function name="partbymonth"

        class="io.mycat.route.function.PartitionByMonth">

        <property name="dateFormat">yyyy-MM-dd HH:mm:ss</property>

        <property name="sBeginDate">2015-01-01 00:00:00</property>

</function>

dateFormat为日期格式,sBeginDate为开始日期。

2、例子：

CREATE TABLE ` tb_partbymonth ` (

  `id` varchar(32) NOT NULL,

  `name` varchar(64) DEFAULT NULL,

  `createtime` datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

写入数据(注意这里不能使用now函数)

insert into tb_partbymonth(id,name,createtime) values('a0001','name1','2015-01-01 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0002','name1','2015-02-02 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0003','name1','2015-03-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0004','name1','2015-04-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0005','name1','2015-05-01 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0006','name1','2015-06-02 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0007','name1','2015-07-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0008','name1','2015-08-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0009','name1','2015-09-01 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0010','name1','2015-10-02 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0011','name1','2015-11-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0012','name1','2015-12-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0013','name1','2016-01-01 00:00:00');

五、sharding-by-intfile(枚举)：

1、路由规则：

<tableRule name="sharding-by-intfile-provcode">

        <rule>

                <columns>provcode</columns>

                <algorithm>hash-int-provcode</algorithm>

        </rule>

</tableRule>

 

<function name="hash-int-provcode"

        class="io.mycat.route.function.PartitionByFileMap">

        <property name="mapFile">partition-hash-int-provcode.txt</property>

        <property name="type">0</property>

</function>

type=0 代表整形

type=1 代表字符串类型

[root@host01 conf]# more partition-hash-int-provcode.txt

1=0

2=1

3=2

4=3

5=4

6=5

7=0

8=1

9=2

10=3

11=4

12=5

DEFAULT_NODE=0 ##找不到省份匹配的情况下,默认放到数据库1

这里是6个库,序号0-5,将不同的省份映射到对应的库。所有的省份和库哦对应关系都要枚举出来。

2、例子：

CREATE TABLE `tb_user_t` (

  id bigint auto_increment not null primary key,

  `name` varchar(64) DEFAULT NULL,

   provcode int ,

  `createtime` datetime DEFAULT CURRENT_TIMESTAMP,

  `moditytime` datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

发现分库情况下定义自动增长的id不管用，因为每个库都有自己的自增长id,通过mycat查询的话会有重复的id.

如下:

mysql> select * from tb_user_t order by id;

+----+----------+----------+---------------------+---------------------+

| id | name     | provcode | createtime          | moditytime          |

+----+----------+----------+---------------------+---------------------+

|  1 | name0005 |        5 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0001 |        1 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0004 |        4 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0002 |        2 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0003 |        3 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0006 |        6 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  2 | name0011 |       11 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0007 |        7 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0010 |       10 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0008 |        8 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0009 |        9 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0012 |       12 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  3 | name0013 |       13 | 2017-08-09 11:12:17 | 2017-08-09 11:12:17 |

+----+----------+----------+---------------------+---------------------+

六、sharding-by-murmur：

murmur算法是将字段进行hash后分发到不同的数据库,字段类型支持int和varchar.

1、路由规则：

<tableRule name="sharding-by-murmur-userid">

        <rule>

                <columns>userid</columns>

                <algorithm>murmur</algorithm>

        </rule>

</tableRule>

 

<function name="murmur"

class="io.mycat.route.function.PartitionByMurmurHash">

<property name="seed">0</property><!-- 默认是0 -->

<property name="count">6</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->

<property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也就是虚拟节点数是物理节点数的160倍 -->

<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重，没有指定权重的节点默认是1。以properties文件

的格式填写，以从0开始到count-1的整数值也就是节点索引为key，以节点权重值为值。所有权重值必须是正整数，否则以1代替 -->

<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>

用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个属性，会把虚拟节点的murmur hash值与物理节点的映

射按行输出到这个文件，没有默认值，如果不指定，就不会输出任何东西 -->

</function>

2、例子：

CREATE TABLE `tb_user_murmur_string_t` (

  `userid` varchar(32) NOT NULL,

  `name` varchar(64) DEFAULT NULL,

  `createtime` datetime DEFAULT CURRENT_TIMESTAMP,

  `moditytime` datetime DEFAULT CURRENT_TIMESTAMP,

  PRIMARY KEY (`userid`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

 

写入数据

insert into tb_user_murmur_string_t(userid,name) values('user002','name002');

insert into tb_user_murmur_string_t(userid,name) values('user003','name003');

insert into tb_user_murmur_string_t(userid,name) values('user004','name004');

insert into tb_user_murmur_string_t(userid,name) values('user005','name005');

insert into tb_user_murmur_string_t(userid,name) values('user006','name006');

insert into tb_user_murmur_string_t(userid,name) values('user007','name007');

insert into tb_user_murmur_string_t(userid,name) values('user008','name008');

insert into tb_user_murmur_string_t(userid,name) values('user009','name009');

insert into tb_user_murmur_string_t(userid,name) values('user010','name010');

七、crc32slot：

crs32算法,分库字段类型支撑int和varchar.

1、路由规则：

<tableRule name="crc32slot">

       <rule>

           <columns>id</columns>

           <algorithm>crc32slot</algorithm>

       </rule>

 </tableRule>

 <function name="crc32slot" class="io.mycat.route.function.PartitionByCRC32PreSlot">

        <property name="count">6</property><!-- 要分片的数据库节点数量，必须指定，否则没法分片 -->

 </function>

count=6指定需要分库的个数.

2、例子：

CREATE TABLE `tb_user_crc32slot_t` (

  `id` varchar(32) NOT NULL,

  `name` varchar(64) DEFAULT NULL,

  `createtime` datetime DEFAULT CURRENT_TIMESTAMP,

  `moditytime` datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

写入数据:

insert into tb_user_crc32slot_t(id,name) values('a0002','name1');

insert into tb_user_crc32slot_t(id,name) values('a0003','name1');

insert into tb_user_crc32slot_t(id,name) values('a0004','name1');

insert into tb_user_crc32slot_t(id,name) values('a0005','name1');

insert into tb_user_crc32slot_t(id,name) values('a0006','name1');

insert into tb_user_crc32slot_t(id,name) values('a0007','name1');

insert into tb_user_crc32slot_t(id,name) values('a0008','name1');

insert into tb_user_crc32slot_t(id,name) values('a0009','name1');

insert into tb_user_crc32slot_t(id,name) values('a0010','name1');

insert into tb_user_crc32slot_t(id,name) values('a0011','name1');

insert into tb_user_crc32slot_t(id,name) values('a0012','name1');

insert into tb_user_crc32slot_t(id,name) values('a0013','name1');

insert into tb_user_crc32slot_t(id,name) values('a0014','name1');

insert into tb_user_crc32slot_t(id,name) values('a0015','name1');


八、mod-long：

1、路由规则：对十进制数进行按照节点取模。

<tableRule name="mod-long">

       <rule>

           <columns>id</columns>

           <algorithm>mod-long</algorithm>

       </rule>

 </tableRule>

 <function name="mod-long" class="io.mycat.route.function.PartitionByMod">

        <property name="count">3</property>

         <!-- 要分片的数据库节点数量，必须指定，否则没法分片,即对十进制数进行按照节点取模，将数据离散的分散到各个数据节点上 -->

 </function>



九、mycat分库规则E/R规则 ：


1、路由规则：

E/R规则通过childTable设定之后，父子表相同的Id会落在相同的库，这样的避免关联的时候跨库进行关联.

joinKey="order_id" 是子表的order_id字段

parentKey="id"     是父表的id字段

即子表通过order_id字段跟父表的id字段进行关联

2222222222222222222222.jpg

2、例子

（2.1）、创建表语句:

create table orders

(

  id int not null,

  order_name varchar(64),

  createtime datetime DEFAULT CURRENT_TIMESTAMP,

  moditytime datetime DEFAULT CURRENT_TIMESTAMP,

  PRIMARY KEY (id)

);



create table orders_cargo

(

  order_id int not null,

  cargo_name varchar(64),

  createtime datetime DEFAULT CURRENT_TIMESTAMP,

  moditytime datetime DEFAULT CURRENT_TIMESTAMP,

  PRIMARY KEY (order_id)  

);

（2.2）、客户Custermer和订单Order

    每个客户和每个客户的订单最好在同一个库中。

    111111111111111.jpg

3、如果把父表最为全局表也能解决join的效率问题。

333333333333333333.jpg




















本文转自lzf0530377451CTO博客，原文链接： http://blog.51cto.com/8757576/2054714，如需转载请自行联系原作者





深入理解MyCat分片：高效处理大规模数据的利器
fudaihb的博客
08-30 1820
随着现代应用的规模不断扩大，数据库成为了系统性能的瓶颈之一。特别是在处理海量数据时，传统的单一数据库实例往往无法满足性能和扩展性的需求。为了解决这个问题，分布式数据库中间件应运而生，而MyCat作为一款开源的分布式数据库中间件，在分片和水平扩展方面具有强大的功能。本文将详细介绍MyCat的分片技术，包括其工作原理、使用场景、配置方法及实际应用案例，帮助你更好地理解和使用MyCat分片。
mysql mycat 路由规则_Mycat分库路由规则
weixin_30682635的博客
01-19 666
Mycat分库路由规则发布时间：2020-06-15 16:54:10来源：51CTO阅读：11651作者：lzf05303774一、Mycat分库路由分为连续路由和离散路由。1、连续路由：(1)、常用的路由方式：auto-sharding-long、sharding-by-date、sharding-by-month(2)、优点：扩容无需迁移数据；范围条件查询消耗资源少。(3)、缺点：存在数据热...
数据库路由中间件MyCat - 源代码篇（10）
weixin_30809333的博客
11-02 217
此文已由作者张镐薪授权网易云社区发布。欢迎访问网易云社区，了解更多网易技术产品运营经验。3. 连接模块3.5 后端连接3.5.2 后端连接获取与维护管理还是那之前的流程，st=>start:MyCat接受客户端连接并为之建立唯一绑定的Session e=>end:将请求发送给对应连接,处理完之后归还连接 op1=>operation:MyCat接受客户端的请求，计算路由...
Mycat 路由转发解析学习
zhanglei_16的博客
02-20 1004
1：测试环境 192.168.1.21   mycat1 192.168.1.22   mysql1 192.168.1.23   mysql2 2：在mysql1、mysql2上安装mysql use mysql GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "oracle"; update user set Pas
Mycat分库分表文档及demo.rar
12-02
**Mycat分库分表技术详解** Mycat是一款开源的分布式数据库中间件，它在Java平台上运行，主要用于解决大数据量下数据库的性能瓶颈问题。Mycat的核心功能是实现数据库的分库分表，它能将一个大型的单体数据库拆分成...
mycat 分库分表
03-27
**mycat 分库分表详解** mycat 是一个开源的分布式数据库中间件，它能够将一个大型数据库逻辑上划分为多个小型数据库，实现数据的分布式存储，以解决单机数据库在高并发、大数据量场景下的性能瓶颈问题。mycat 在 ...
Mycat 数据库分库分表中间件.pdf
02-08
《Mycat数据库分库分表中间件》 在当今大数据时代，单个数据库系统往往无法满足高并发、海量数据的处理需求。为了解决这一问题，Mycat应运而生，它是一款开源的、基于Java开发的数据库中间件，专门用于实现数据库的...
MyCat:分布式数据库中间件（数据路由管理等）
随心的专栏
10-04 1015
参考文献地址： https://www.cnblogs.com/fyy-hhzzj/p/9044775.html https://blog.csdn.net/wrs120/article/details/80417345 http://www.mycat.io/ 文章目录1.什么是MYCAT2.使用场景3.关键特性4.架构5.使用示例5.1 配置说明5.1.1 server.xml5.1.2 sc...
Mycat数据库中间件 mycat2 路由转发
最新发布
狼魂之力
04-19 488
如果Mycat最先收到DB1节点的结果集，那么Mycat返回给应用端的结果集为 [0,1]，如果Mycat最先收到DB2节点的结果集，那么返回给应用端的结果集为 [5,6]。可是，对于应用而言，该表的所有数据明明是 0-29 这30个数据的集合，limit 5,2 操作返回的结果集应该是 [5,6]，如果返回 [10,11] 则是错误的处理逻辑。在有排序呢条件的情况下，Mycat接收到各个DB节点的返回结果后，对其进行最小堆运算，计算出所有结果集中最小的两条记录 [0,1] 返回给应用。
Mysql系列六：（Mycat分片路由原理、Mycat常用分片规则及对应源码介绍）
五滴火
07-19 1828
一、Mycat分片路由原理 我们先来看下面的一个SQL在Mycat里面是如何执行的： select * from travelrecord where id in(5000001, 10000001); 有3个分片dn1,dn2,dn3, id=5000001这条数据在dn2上，id=10000001这条数据在dn3上。 查询时可能有出现的问题： 1）全部扫描一遍dn1 dn2 d...
mysql mycat 路由规则_Mycat分片规则详解
weixin_42653691的博客
01-19 387
1、分片枚举通过在配置文件中配置可能的枚举 id，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则，配置如下：user_idhash-intpartition-hash-int.txt00配置说明标签属性说明columns标识将要分片的表字段algorithm分片函数mapFile标识配置文件名称type默认值为 0，0 表示...
mysql mycat 路由规则_mycat常用的分片规则
weixin_34351588的博客
01-27 246
一、枚举法user_idhash-intpartition-hash-int.txt00partition-hash-int.txt 配置：10000=010010=1上面columns 标识将要分片的表字段，algorithm 分片函数，其中分片函数配置中，mapFile标识配置文件名称，type默认值为0，0表示Integer，非零表示String，所有的节点配置都是从0开始，及0代表节点1/...
mycat2系列二： 源码及路由算法
dualvencsdn的博客
09-18 631
目录 源码及编译 路由算法 客户端 服务器配置.json语法 ui客户端 源码及编译 GitHub - MyCATApache/Mycat2: MySQL Proxy using Java NIO based on Sharding SQL,Calcite ,simple and fastMySQL Proxy using Java NIO based on Sharding SQL,Calcite ,simple and fast - GitHub - MyCATApache/M...
Mycat之——路由转发实例解析
冰河的专栏
08-07 4169
今天，给大家带来一篇通过一个配置实例来讲解Mycat路由转发的文章，熟悉Mycat的同学都知道，Mycat一个很重要的功能就是路由转发，那么，这篇文章就带着大家一起来看看Mycat是如何进行路由转发的，好了，不多说了，我们直接进入主题。 一、环境准备 1、软件版本 操作系统：CentOS-6.5-x86_64-bin-DVD1.iso JDK版本：jdk1.7.0_80 Mycat版
mycat 路由转发过程原理深度解析
攻城狮Luke
07-19 571
1 安装后进入 Schema.xml配置信息如下，数据节点名称dn1、dn2、dn3：  安装完后登录测试：  MySQL -utest -ptest -h127.0.0.1 -P8066 -DTESTDB  2 , 创建表 create table travelrecord (id bigint not null primary key,user_id va
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值