mysql mycat 路由规则_Mycat分库路由规则

最新推荐文章于 2022-09-29 00:00:04 发布
最新推荐文章于 2022-09-29 00:00:04 发布
阅读量221 收藏 1
点赞数
文章标签： mysql mycat 路由规则
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39558804/article/details/113269330
版权

一、Mycat分库路由分为连续路由和离散路由。

1、连续路由：

(1)、常用的路由方式：auto-sharding-long、sharding-by-date、sharding-by-month

(2)、优点：扩容无需迁移数据；范围条件查询消耗资源少。

(3)、缺点：存在数据热点的可能性；并发访问能力受限于单一或少量的DataNode

2、离线路由：

(1)、常用的路由方式：sharding-by-intfile、sharding-by-murmur、mod-long(取模)、crc32slot(取模)

(2)、优点：并发访问能力增强。

(3)、缺点：数据扩容比较困难，涉及到数据迁移问题；数据库链接消耗资源多。

二、auto-sharding-long：

1、路由规则：

userid

rang-long-userid

class="io.mycat.route.function.AutoPartitionByLong">

autopartition-long-userid.txt

[root@host01 conf]# more autopartition-long-userid.txt

# range start-end ,data node index

# K=1000,M=10000.

0-1000=0

1001-2000=1

2001-3000=2

3001-4000=3

4001-5000=4

5001-6000=5

2、例子：

CREATE TABLE tb_user_detail_t (

userid bigint not null primary key,

name varchar(64) DEFAULT NULL,

createtime datetime DEFAULT CURRENT_TIMESTAMP,

moditytime datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

写入数据

insert into tb_user_detail_t(userid,name) values(999,'name999');

insert into tb_user_detail_t(userid,name) values(1999,'name999');

insert into tb_user_detail_t(userid,name) values(2999,'name999');

insert into tb_user_detail_t(userid,name) values(3999,'name999');

insert into tb_user_detail_t(userid,name) values(4999,'name999');

insert into tb_user_detail_t(userid,name) values(5999,'name999');

三、sharding-by-date：

1、路由规则：

createtime

partbydate

yyyy-MM-dd HH:mm:ss

2016-01-01 00:00:00

2

分片日期从2016-01-01开始,每2天一个分片。

2、例子：

CREATE TABLE `tb_user_partbydate` (

`id` varchar(32) NOT NULL,

`name` varchar(64) DEFAULT NULL,

`createtime` varchar(10)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

insert into tb_user_partbydate (id,name,createtime) values('a0001','name1','2016-01-01 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0002','name1','2016-01-02 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0003','name1','2016-01-03 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0004','name1','2016-01-04 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0005','name1','2016-01-05 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0006','name1','2016-01-06 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0007','name1','2016-01-07 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0005','name1','2016-01-08 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0006','name1','2016-01-09 00:01:00');

insert into tb_user_partbydate (id,name,createtime) values('a0007','name1','2016-01-10 00:01:00');

四、sharding-by-month：

1、路由规则：

createtime

partbymonth

class="io.mycat.route.function.PartitionByMonth">

yyyy-MM-dd HH:mm:ss

2015-01-01 00:00:00

dateFormat为日期格式,sBeginDate为开始日期。

2、例子：

CREATE TABLE ` tb_partbymonth ` (

`id` varchar(32) NOT NULL,

`name` varchar(64) DEFAULT NULL,

`createtime` datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

写入数据(注意这里不能使用now函数)

insert into tb_partbymonth(id,name,createtime) values('a0001','name1','2015-01-01 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0002','name1','2015-02-02 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0003','name1','2015-03-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0004','name1','2015-04-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0005','name1','2015-05-01 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0006','name1','2015-06-02 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0007','name1','2015-07-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0008','name1','2015-08-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0009','name1','2015-09-01 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0010','name1','2015-10-02 10:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0011','name1','2015-11-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0012','name1','2015-12-01 00:00:00');

insert into tb_partbymonth(id,name,createtime) values('a0013','name1','2016-01-01 00:00:00');

五、sharding-by-intfile(枚举)：

1、路由规则：

provcode

hash-int-provcode

class="io.mycat.route.function.PartitionByFileMap">

partition-hash-int-provcode.txt

0

type=0代表×××

type=1代表字符串类型

[root@host01 conf]# more partition-hash-int-provcode.txt

1=0

2=1

3=2

4=3

5=4

6=5

7=0

8=1

9=2

10=3

11=4

12=5

DEFAULT_NODE=0 ##找不到省份匹配的情况下,默认放到数据库1

这里是6个库,序号0-5,将不同的省份映射到对应的库。所有的省份和库哦对应关系都要枚举出来。

2、例子：

CREATE TABLE `tb_user_t` (

id bigint auto_increment not null primary key,

`name` varchar(64) DEFAULT NULL,

provcode int ,

`createtime` datetime DEFAULT CURRENT_TIMESTAMP,

`moditytime` datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

发现分库情况下定义自动增长的id不管用，因为每个库都有自己的自增长id,通过mycat查询的话会有重复的id.

如下:

mysql> select * from tb_user_t order by id;

+----+----------+----------+---------------------+---------------------+

| id | name     | provcode | createtime          | moditytime          |

+----+----------+----------+---------------------+---------------------+

|  1 | name0005 |        5 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0001 |        1 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0004 |        4 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0002 |        2 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0003 |        3 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  1 | name0006 |        6 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |

|  2 | name0011 |       11 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0007 |        7 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0010 |       10 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0008 |        8 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0009 |        9 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  2 | name0012 |       12 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |

|  3 | name0013 |       13 | 2017-08-09 11:12:17 | 2017-08-09 11:12:17 |

+----+----------+----------+---------------------+---------------------+

六、sharding-by-murmur：

murmur算法是将字段进行hash后分发到不同的数据库,字段类型支持int和varchar.

1、路由规则：

userid

murmur

class="io.mycat.route.function.PartitionByMurmurHash">

0

6

160

2、例子：

CREATE TABLE `tb_user_murmur_string_t` (

`userid` varchar(32) NOT NULL,

`name` varchar(64) DEFAULT NULL,

`createtime` datetime DEFAULT CURRENT_TIMESTAMP,

`moditytime` datetime DEFAULT CURRENT_TIMESTAMP,

PRIMARY KEY (`userid`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

写入数据

insert into tb_user_murmur_string_t(userid,name) values('user002','name002');

insert into tb_user_murmur_string_t(userid,name) values('user003','name003');

insert into tb_user_murmur_string_t(userid,name) values('user004','name004');

insert into tb_user_murmur_string_t(userid,name) values('user005','name005');

insert into tb_user_murmur_string_t(userid,name) values('user006','name006');

insert into tb_user_murmur_string_t(userid,name) values('user007','name007');

insert into tb_user_murmur_string_t(userid,name) values('user008','name008');

insert into tb_user_murmur_string_t(userid,name) values('user009','name009');

insert into tb_user_murmur_string_t(userid,name) values('user010','name010');

七、crc32slot：

crs32算法,分库字段类型支撑int和varchar.

1、路由规则：

id

crc32slot

6

count=6指定需要分库的个数.

2、例子：

CREATE TABLE `tb_user_crc32slot_t` (

`id` varchar(32) NOT NULL,

`name` varchar(64) DEFAULT NULL,

`createtime` datetime DEFAULT CURRENT_TIMESTAMP,

`moditytime` datetime DEFAULT CURRENT_TIMESTAMP

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

写入数据:

insert into tb_user_crc32slot_t(id,name) values('a0002','name1');

insert into tb_user_crc32slot_t(id,name) values('a0003','name1');

insert into tb_user_crc32slot_t(id,name) values('a0004','name1');

insert into tb_user_crc32slot_t(id,name) values('a0005','name1');

insert into tb_user_crc32slot_t(id,name) values('a0006','name1');

insert into tb_user_crc32slot_t(id,name) values('a0007','name1');

insert into tb_user_crc32slot_t(id,name) values('a0008','name1');

insert into tb_user_crc32slot_t(id,name) values('a0009','name1');

insert into tb_user_crc32slot_t(id,name) values('a0010','name1');

insert into tb_user_crc32slot_t(id,name) values('a0011','name1');

insert into tb_user_crc32slot_t(id,name) values('a0012','name1');

insert into tb_user_crc32slot_t(id,name) values('a0013','name1');

insert into tb_user_crc32slot_t(id,name) values('a0014','name1');

insert into tb_user_crc32slot_t(id,name) values('a0015','name1');

八、mod-long：

1、路由规则：对十进制数进行按照节点取模。

id

mod-long

3

九、mycat分库规则E/R规则 ：

1、路由规则：

E/R规则通过childTable设定之后，父子表相同的Id会落在相同的库，这样的避免关联的时候跨库进行关联.

joinKey="order_id" 是子表的order_id字段

parentKey="id"     是父表的id字段

即子表通过order_id字段跟父表的id字段进行关联

60318b8eca541ad99ae776dddb89821d.png

2、例子

(2.1)、创建表语句:

create table orders

(

id int not null,

order_name varchar(64),

createtime datetime DEFAULT CURRENT_TIMESTAMP,

moditytime datetime DEFAULT CURRENT_TIMESTAMP,

PRIMARY KEY (id)

);

create table orders_cargo

(

order_id int not null,

cargo_name varchar(64),

createtime datetime DEFAULT CURRENT_TIMESTAMP,

moditytime datetime DEFAULT CURRENT_TIMESTAMP,

PRIMARY KEY (order_id)

);

(2.2)、客户Custermer和订单Order

每个客户和每个客户的订单最好在同一个库中。

3daaed93d6c4eabb45706b9fddf31e83.png

3、如果把父表最为全局表也能解决join的效率问题。

77a5a85b70850b124145383e105fe38f.png

weixin_39558804
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
mysql mycat 路由规则_Mycat分片规则详解
weixin_42653691的博客
01-19 372
1、分片枚举通过在配置文件中配置可能的枚举 id，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则，配置如下：user_idhash-intpartition-hash-int.txt00配置说明标签属性说明columns标识将要分片的表字段algorithm分片函数mapFile标识配置文件名称type默认值为 0，0 表示...
Mycat分库路由规则
weixin_34023982的博客
11-24 1009
一、Mycat分库路由分为连续路由和离散路由。 1、连续路由： （1）、常用的路由方式：auto-sharding-long、sharding-by-date、sharding-by-month （2）、优点：扩容无需迁移数据；范围条件查询消耗资源少。 （3）、缺点：存在数据热点的可能性；并发访问能力受限于单一或少量的DataNode 2、离线路由： （...
mysql mycat 路由规则_mycat常用的分片规则
weixin_34351588的博客
01-27 236
一、枚举法user_idhash-intpartition-hash-int.txt00partition-hash-int.txt 配置：10000=010010=1上面columns 标识将要分片的表字段，algorithm 分片函数，其中分片函数配置中，mapFile标识配置文件名称，type默认值为0，0表示Integer，非零表示String，所有的节点配置都是从0开始，及0代表节点1/...
Mycat复制与高可用集群_herself36w_mycat_MYSQL_
10-02
Mycat是基于MySQL协议开发的数据库中间件，它将多台MySQL服务器虚拟成一个大型的分布式数据库系统，实现了读写分离、分库分表等功能，为大数据量、高并发的业务场景提供了有效的解决方案。 二、Mycat复制 1. 数据...
MyCat_In_Action_中文版
01-04
- **水平切分（Sharding）**：通过sharding-by-intfile规则，MyCat可以根据指定的字段进行水平切分，即分库分表，这种分片方式通过取模算法来实现，例如通过sharding_id来分片，不同id的数据存储在不同的dataNode上...
MySQL 中间件 MyCat 1.6.5 WIN 版 免安装
最新发布
12-14
2. **分库分表**：MyCat支持对大型数据库进行横向扩展，即将一个大表分成多个小表，分布在不同的数据库服务器上。这种分片策略可以显著提升数据查询速度，同时避免单表数据量过大导致的性能瓶颈。 3. **环境配置**...
mysql mycat 路由规则_采用MyCAT的多租户方案 - 按切分函数路由
weixin_42514202的博客
01-19 150
1. 创建物理库以root账号登录mariaDB, 创建三个schema: db_10001、db_10013、db_10020， 分别用来存放商户10001、10013、10020的数据； 然后在这三个schema上分别执行建表语句:DROP TABLE if EXISTS tenant_user ;CREATE TABLE tenant_user(id BIGINT UNSIGNED...
mysql router mycat_Mysql系列六：（Mycat分片路由原理、Mycat常用分片规则及对应源码介绍）...
weixin_42299391的博客
01-19 633
一、Mycat分片路由原理我们先来看下面的一个SQL在Mycat里面是如何执行的：select * from travelrecord where id in(5000001, 10000001);有3个分片dn1,dn2,dn3, id=5000001这条数据在dn2上，id=10000001这条数据在dn3上。查询时可能有出现的问题：1)全部扫描一遍dn1 dn2 dn3，结果导致性能浪费...
mycat 分库配置-取模分片规则
lihongtai的专栏
11-12 676
0.前提条件 前期工作 1.修改schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="MYCAT_DB&quo
架构设计：系统存储（14）——MySQL横向拆分与业务透明化（2）
JAVA入门中
11-29 6037
上文提到MyCat的逻辑表支持多种分片规则，表现于schema配置文件中中table标签的rule属性。本节将以MyCat Version 1.6版为基础，介绍几种经常使用的分片规则，这些分片规则都通过rule.xml文件进行定义和配置。
分库分表之历史表如何选择最佳分片路由规则
myqq-835500231的博客
03-17 380
分库分表之历史表如何选择最佳分片路由规则 前言 背景 首先我相信很多人使用分表分库一定有这么一个情况,就是目前我们的系统有一张表可能会非常的庞大,然后希望通过分片技术将其进行水平拆分,但是如何拆分或者说如何拆分可以保证让目前的数据性能达到最优解，是一个很值得探讨的问题。 这边简单举一个例子，譬如我们的订单表,目前我们的订单表可能已经达到一定的数量级了比如百万或者千万级别了，可能光是简单的查询性能是很高的，但是新增订单可能就没这么乐观了，随着索引的增多新增的数目也会不断地变慢，不仅仅是查询一个维度迫使
Mycat 路由转发解析学习
zhanglei_16的博客
02-20 985
1：测试环境 192.168.1.21   mycat1 192.168.1.22   mysql1 192.168.1.23   mysql2 2：在mysql1、mysql2上安装mysql use mysql GRANT ALL PRIVILEGES ON *.* TO root@"%" IDENTIFIED BY "oracle"; update user set Pas
分库分表规则
兜兜里全是糖_博客
06-20 2572
TDDL分库分表规则netfocus 2016-05-27 22:16:44 浏览2941 评论1摘要： 规则如下： 判断一个ID在哪个库里的公式是：id % 4 / 2 判断一个ID在哪个表里的公式是：id % 4 % 2 其中4表示总共有多少个分表，2表示总共有多少个数据库；上面这个例子，表示总共有2个数据库，每个数据库有2个分表，所以是2 * 2 = 4； 所以，对于ID是1,2,3,4,5...
Mycat之——路由转发实例解析
冰河的专栏
08-07 4151
今天，给大家带来一篇通过一个配置实例来讲解Mycat路由转发的文章，熟悉Mycat的同学都知道，Mycat一个很重要的功能就是路由转发，那么，这篇文章就带着大家一起来看看Mycat是如何进行路由转发的，好了，不多说了，我们直接进入主题。 一、环境准备 1、软件版本 操作系统：CentOS-6.5-x86_64-bin-DVD1.iso JDK版本：jdk1.7.0_80 Mycat版
面试官: 美团外卖的分库分表怎么设计？
良月柒
09-29 146
程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 2.8 分钟。来自：https://juejin.cn/post/7128726681954549768概述分库分表后设计到的第一个问题就是，如何选择路由key，应该如何对key进行路由。路由key应该在每个表中都存在而且唯一。路由策略应尽量保证数据能均匀进行分布。如果是对大数据量进行归档类的业务可以选择时间作为路由key。比如...
Mycat3/3---分库分表规则
Stephanie翟倩
08-05 1545
Mycat常用分片规则和主键生成。
总结数据库分/分表常见的几种路由规则
缘分天空
07-11 1975
数据库分库分表常用路由策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值