Mycat之——取模分片

最新推荐文章于 2024-03-21 23:17:19 发布
最新推荐文章于 2024-03-21 23:17:19 发布
阅读量3.5k 收藏 2
点赞数 1
分类专栏： 精通分布式存储系列 精通分布式数据库系列 文章标签： Mycat mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/l1028386804/article/details/77150670
版权

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/77150670

一、简单描述

取模分片，就是根据数据表的某一个字段，通常是某一个整数型的字段，对其进行十进制的求模运算，将运算结果作为Mycat的路由结果，具体规则如下：

此分片算法根据id进行十进制求模运算，相比固定的分片hash，这种分片算法在批量插入时会增加事务一致性的难度。

二、实现取模分片

1、配置rule.xml

在rule.xml中添加如下配置

 

<tableRule name="mod-long">
	<rule>
		<columns>id</columns>
		<algorithm>mod-long</algorithm>
	</rule>
</tableRule>
<function name="mod-long" class="org.opencloudb.route.function.PartitionByMod">
	<!-- how many data nodes -->
	<property name="count">3</property>
</function>

 

2、配置schema.xml

 

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/" >

	<schema name="lyzdb" checkSQLschema="false" sqlMaxLimit="100">
		<!-- global table is auto cloned to all defined data nodes ,so can join 
			with any table whose sharding node is in the same data node -->
		<table name="t_user" primaryKey="id" dataNode="dn1,dn2,dn3" rule="mod-long"/>
	</schema>
	<!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743" 
		/> -->
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />
	<!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />
	 <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" /> 
	<dataNode	name="jdbc_dn2" dataHost="jdbchost" database="db2" /> 
	<dataNode name="jdbc_dn3" 	dataHost="jdbchost" database="db3" /> -->
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.209.137:3306" user="root" password="root"></writeHost>
		<!--<writeHost host="hostS1" url="localhost:3316" user="root"-->
			<!--password="123456" />-->
		<!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
	</dataHost>
</mycat:schema>

至此，Mycat的配置工作就算完成了，下面，我们一起来测试下Mycat的路由结果。

 

三、测试路由结果

1、创建数据表

 

mysql> explain CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME);
+-----------+------------------------------------------------------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                                                                    |
+-----------+------------------------------------------------------------------------------------------------------------------------+
| dn1       | CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME) |
| dn2       | CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME) |
| dn3       | CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME) |
+-----------+------------------------------------------------------------------------------------------------------------------------+
3 rows in set (0.00 sec)

mysql> CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME);
Query OK, 0 rows affected (0.21 sec)

Mycat日志如下：

 

 

08/13 21:44:36.871  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME), route={
   1 -> dn1{CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME)}
   2 -> dn2{CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME)}
   3 -> dn3{CREATE TABLE t_user (ID INT NOT NULL AUTO_INCREMENT PRIMARY KEY,name VARCHAR(64),sex VARCHAR(2), CREATE_TIME DATETIME)}
} rrs

由此可见，当创建数据表时，Mycat将SQL路由到所有的数据节点。

 

2、录入数据

 

mysql> explain insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW());
+-----------+-----------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                         |
+-----------+-----------------------------------------------------------------------------+
| dn2       | insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW()) |
+-----------+-----------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql>
mysql>
mysql> insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW());
Query OK, 1 row affected (0.10 sec)

mysql> explain insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW());
+-----------+-----------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                         |
+-----------+-----------------------------------------------------------------------------+
| dn3       | insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW()) |
+-----------+-----------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW());
Query OK, 1 row affected (0.04 sec)

mysql> explain insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW());
+-----------+-----------------------------------------------------------------------------+
| DATA_NODE | SQL                                                                         |
+-----------+-----------------------------------------------------------------------------+
| dn1       | insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW()) |
+-----------+-----------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW());
Query OK, 1 row affected (0.01 sec)

Mycat日志如下：

 

 

08/13 21:51:45.221  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW()), route={
   1 -> dn2{insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW())}
} rrs 

insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW());
08/13 21:52:53.005  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW()), route={
   1 -> dn3{insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW())}
} rrs 

insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW());
08/13 21:54:00.546  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW()), route={
   1 -> dn1{insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW())}
} rrs

由此可见，录入数据时，Mycat根据id进行十进制求模运算，将运算结果作为路由结果，将SQL路由到指定的数据分片节点，符合我们配置的分片规则。

 

3、指定数据分片字段查询

 

08/13 21:51:45.221  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW()), route={
   1 -> dn2{insert into t_user(id,name, sex, CREATE_TIME) values(1,'lyz01', 'n', NOW())}
} rrs 

insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW());
08/13 21:52:53.005  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW()), route={
   1 -> dn3{insert into t_user(id,name, sex, CREATE_TIME) values(2,'lyz02', 'n', NOW())}
} rrs 

insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW());
08/13 21:54:00.546  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW()), route={
   1 -> dn1{insert into t_user(id,name, sex, CREATE_TIME) values(3,'lyz03', 'n', NOW())}
} rrs

Mycat日志如下：

 

 

08/13 21:55:57.257  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]select * from t_user where id = 1, route={
   1 -> dn2{select * from t_user where id = 1}
} rr

由此可见，执行简单的查询，如果指定分片字段，则走分片查询单个分片节点。

 

4、按照分片字段范围查询

 

mysql> explain select * from t_user where id >=3;
+-----------+----------------------------------------------+
| DATA_NODE | SQL                                          |
+-----------+----------------------------------------------+
| dn1       | SELECT * FROM t_user WHERE id >= 3 LIMIT 100 |
| dn2       | SELECT * FROM t_user WHERE id >= 3 LIMIT 100 |
| dn3       | SELECT * FROM t_user WHERE id >= 3 LIMIT 100 |
+-----------+----------------------------------------------+
3 rows in set (0.02 sec)

mysql> select * from t_user where id >=3;
+----+-------+------+---------------------+
| ID | name  | sex  | CREATE_TIME         |
+----+-------+------+---------------------+
|  3 | lyz03 | n    | 2017-08-13 21:54:00 |
+----+-------+------+---------------------+
1 row in set (0.04 sec)

Mycat日志如下：

 

 

08/13 21:58:08.598  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]select * from t_user where id >=3, route={
   1 -> dn1{SELECT *
FROM t_user
WHERE id >= 3
LIMIT 100}
   2 -> dn2{SELECT *
FROM t_user
WHERE id >= 3
LIMIT 100}
   3 -> dn3{SELECT *
FROM t_user
WHERE id >= 3
LIMIT 100}
} rrs

由此可见，如果分片字段范围的查询，则走所有节点去检索，哪怕只有一条数据在一个分片上，route路由也是走所有的分片进行检索查询。

 

5、按照非分片字段查询

 

mysql> explain select * from t_user where name = 'lyz01';
+-----------+-----------------------------------------------------+
| DATA_NODE | SQL                                                 |
+-----------+-----------------------------------------------------+
| dn1       | SELECT * FROM t_user WHERE name = 'lyz01' LIMIT 100 |
| dn2       | SELECT * FROM t_user WHERE name = 'lyz01' LIMIT 100 |
| dn3       | SELECT * FROM t_user WHERE name = 'lyz01' LIMIT 100 |
+-----------+-----------------------------------------------------+
3 rows in set (0.00 sec)

mysql>
mysql> select * from t_user where name = 'lyz01';
+----+-------+------+---------------------+
| ID | name  | sex  | CREATE_TIME         |
+----+-------+------+---------------------+
|  1 | lyz01 | n    | 2017-08-13 21:51:45 |
+----+-------+------+---------------------+
1 row in set (0.01 sec)

Mycat日志如下：

 

 

08/13 21:59:01.166  DEBUG [$_NIOREACTOR-0-RW] (NonBlockingSession.java:113) -ServerConnection [id=1, schema=lyzdb, host=192.168.209.1, user=lyz,txIsolation=3, autocommit=true, schema=lyzdb]select * from t_user where name = 'lyz01', route={
   1 -> dn1{SELECT *
FROM t_user
WHERE name = 'lyz01'
LIMIT 100}
   2 -> dn2{SELECT *
FROM t_user
WHERE name = 'lyz01'
LIMIT 100}
   3 -> dn3{SELECT *
FROM t_user
WHERE name = 'lyz01'
LIMIT 100}
} rrs

由此可见，如果不走分片字段的查询，即使是单个数据，也要route路由所有的分片，走所有的分片进行查询。
 

 

冰 河
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Mycat之——SQL拦截
12-14
其实，看到这个标题后，我本人也会提出一个疑问：SQL拦截到底有什么用呢？，接下来，就让我们带着这个疑问来阅读本文。 为何需要使用Mycat的SQL拦截功能？ 首先，我们来列举一个真实的案例场景：我们在实际的工作中，经常会遇到这样一种场景：业务人员突然发现业务数据库中的数据被莫名其妙的修改了，但又不知道是如何修改的。于是，就来求助DBA，想要来查询一下修改数据的SQL语句。通常情况下，DBA只能通过分析binlog的方式来查找修改数据的SQL语句。如果使用的binlog格式是row格式，那么，在binlog中是根本不会记录修改数据的原始SQL语句的。因此，在binlog日志中所获得的SQL语句，
Mycat取模分片示例
10-17
Mycat取模分片示例
mysql 数字取模_Mycat之数据库分片（取模分片）-yellowcong
weixin_42659791的博客
02-18 644
取模分片，简单来讲，根据数据库的主键和存储的节点数进行取模操作，然后根据取模的结果，将数据存放到对应的节点中，取模分表，可以将数据均匀的分配到各个库中。实现的步骤：1、创建数据库，2、配置schema.xml文件，3、配置server.xml，4、添加rule.xml。这种方式，导致每一个库里面的数据不连续，导致查询的时候，比较耗费资源，但是如果有一些需要按照数字来计算类型的，可以采用这个。创建数...
【MySQL合集】运维7-Mycat分库分表之取模分片
Reische的博客
12-19 849
的结果只有 0,1,2, 所以结果为0时, 数据将写在第一个数据节点，结果为1时，结果会保存在第二个数据节点，结果为2时，保存在第三个数据节点上，而 1%3=1 ,所以id=1的数据写在了192.168.3.91第二个数据节点上。insert into tb_logs (id, model_name, operate_user, operate_time) values (1, '访问首页','张三', '2023-12-17 21:52:54');取模分片是水平分库分表的一种方式。
并发编程处理实战篇12：ID取模分片，springcloud视频
最新发布
m0_60388292的博客
03-21 606
/取hash//取模方法二i < 10000;i++) {//取hash//数量为2的幂次方(2,8,16,32)int h;
Spring Mongodb Maven示例
11-16
一个非常简单的Spring+Mongodb+Maven的示例，有完整的框架，可以进一步深入学习mongodb
Mycat【Mycat分片规则（取模、分片枚举、范围约定）】(六)-全面详解（学习总结---从入门到深化）
07-08 398
Mycat【Mycat分片规则（取模、分片枚举、范围约定）】(六)-全面详解（学习总结---从入门到深化）
MyCat全局ID主键生成策略详解
Touch
11-26 1241
MyCat全局ID主键生成策略详解
Mycat查询原理、取模算法和枚举算法
qq_39380737的博客
05-11 2429
1.取模算法 1.1相关配置文件 rule.xml <?xml version="1.0" encoding="UTF-8"?> <!-- - - Licensed under the Apache License, Version 2.0 (the "License"); - you may not use this file except in compliance with the License. - You may obtain a copy of the Lic
MyCat的全局ID
qq_27787581的博客
12-11 348
MyCat的全局ID全局唯一ID使用数据库的auto_increment使用UUID使用Redis生成ID使用Twitter的snowflake算法使用ZooKeeper生成唯一ID使用MongoDB的ObjectID 全局唯一ID 特点：1)全局唯一 2)趋势有序 方式：1)使用数据库的auto_increment(自增ID)来生成 2)使用UUID 3)使用Redis生成ID 4)使用Twitter的snowflake算法 5)使用ZooKeeper生成唯一ID 6)使用MongoDB的ObjectID
mycat字符串枚举分片示例.txt
08-26
org.opencloudb.route.function....分片规则：字符串枚举分片 枚举分片的适用场景：记录数可枚举（记录数基本固定或变化很小），比如省份、地区、商业区域（华东区、华中区、华北区、东南区、西南区等）。
Mycat跨分片Join指南
04-22
MYCAT如何跨分片JOIN,很好的Mycat入门资料，适合初学者。
mycat分片规则和算法.docx
07-30
常用的根据主键或非主键的分片规则配置，如枚举法，固定分片hash算法，范围约定，求模法，日期列分区法，通配取模，ASCII码求模通配，编程指定，字符串拆分hash解析，一致性hash。本资源针对以上每一种算法都有详细...
sharding-jdbc之——分库分表实例
热门推荐
冰河的专栏
02-25 8万+
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79368021一、概述之前，我们介绍了利用Mycat进行分库分表操作，Mycat分表操作是利用分库来进行的，单个库中的分表操作可结合MySQL的分区进行，这也是Mycat官方提倡的方式。那么，如何利用Mycat真正实现数据库的分库分表，可以私信我。今天，我们来看看sharding-j...
硬核！4.5万字手把手教你搭建MySQL海量数据存储架构！！（全程实战，建议收藏）
冰河的专栏
06-09 4万+
MySQL数据库到底能存储多少数据呢？很多小伙伴可能会觉得MySQL数据库存储的数据量不大，不能支撑起大数据量的存储与读写性能。实则不然，只要架构设计得当，MySQL其实完全可以存储海量数据，并且在海量数据的存储下提供良好的读写性能。
Mycat之——高可用负载均衡集群的实现（HAProxy + Keepalived + Mycat）
冰河的专栏
07-30 2万+
本文是在博文《Mycat之——Mycat集群部署（基于HAProxy + Mycat）》的基础上，实现高可用负载均衡，若还没有阅读博文《Mycat之——Mycat集群部署（基于HAProxy + Mycat）》，请先阅读博文《Mycat之——Mycat集群部署（基于HAProxy + Mycat）》。 一、本文要解决的问题 在博文《Mycat之——Mycat集群部署（基于HAProxy +
Mycat之——Mycat集群部署（基于HAProxy + Mycat）
冰河的专栏
07-19 1万+
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/75331934 一、软件版本 操作系统：CentOS-6.5-x86_64 JDK版本：jdk1.7.0_80 HAProxy版本：haproxy-1.5.19.tar.gz Mycat版本：Mycat-server-1.5.1-RELEASE-20170717215510-li...
Mycat之——配置文件schema.xml
冰河的专栏
11-28 1万+
今天，给大家带来一篇数据库中间件——Mycat的文章，Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。 select user()
Mycat之——错误处理总结
冰河的专栏
08-13 9729
1、报错1 mysql> INSERT INTO t_order(ID,SN,CREATE_TIME) VALUES(1,'2BJ0001001',NOW()); ERROR 1064 (HY000): For input string: "2BJ0001001" mysql> 报错是因为分片字段是str字符串，所以需要修改分片规则1中type从0改成1，0是数字型分片，1是字符串分片
mycat垂直分片原理
10-08
垂直分片是一种数据库分片技术，它将数据库中的表按照功能或者业务进行划分，每个分片只包含部分表的数据。这种分片方式可以提高数据库的扩展性和性能。 在垂直分片的方案中，可以根据业务需求将数据库表按照不同的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

冰 河

可以吃鸡腿么？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值