MyCat分库分表--实战08--按自然月

最新推荐文章于 2024-06-16 04:56:11 发布
最新推荐文章于 2024-06-16 04:56:11 发布
阅读量78 收藏
点赞数
文章标签： 数据库 mysql mycat timestamp sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa5181/article/details/115513453
版权

项目环境：  

192.168.8.30  mycat

192.168.8.31  node1

192.168.8.32  node2

192.168.8.33  node3

三个节点MySQL均为单实例

一、创建测试库

node1 


create database testdb01;
create database testdb02;
create database testdb03;
create database testdb04;
create database testdb05;
create database testdb06;
create database testdb07;
create database testdb08;
create database testdb09;
create database testdb10;
create database testdb11;
create database testdb12;

node2 


create database testdb13;
create database testdb14;
create database testdb15;
create database testdb16;
create database testdb17;
create database testdb18;
create database testdb19;
create database testdb20;
create database testdb21;
create database testdb22;
create database testdb23;
create database testdb24;

node3 


create database testdb25;
create database testdb26;
create database testdb27;
create database testdb28;
create database testdb29;
create database testdb30;
create database testdb31;
create database testdb32;
create database testdb33;
create database testdb34;
create database testdb35;
create database testdb36;

二、配置schema.xml 


<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="
        <schema name="mycatdb" checkSQLschema="false" sqlMaxLimit="100"> 
           <table name="user06" dataNode="dn$1-36" rule="sharding-by-month-adddate"></table>
        </schema>
	<!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
		/> -->
        <dataNode name="dn1" dataHost="node1" database="testdb01" />
        <dataNode name="dn2" dataHost="node1" database="testdb02" />
        <dataNode name="dn3" dataHost="node1" database="testdb03" />
        <dataNode name="dn4" dataHost="node1" database="testdb04" />
        <dataNode name="dn5" dataHost="node1" database="testdb05" />
        <dataNode name="dn6" dataHost="node1" database="testdb06" />
        <dataNode name="dn7" dataHost="node1" database="testdb07" />
        <dataNode name="dn8" dataHost="node1" database="testdb08" />
        <dataNode name="dn9" dataHost="node1" database="testdb09" />
        <dataNode name="dn10" dataHost="node1" database="testdb10" />
        <dataNode name="dn11" dataHost="node1" database="testdb11" />
        <dataNode name="dn12" dataHost="node1" database="testdb12" />
        <dataNode name="dn13" dataHost="node2" database="testdb13" />
        <dataNode name="dn14" dataHost="node2" database="testdb14" />
        <dataNode name="dn15" dataHost="node2" database="testdb15" />
        <dataNode name="dn16" dataHost="node2" database="testdb16" />
        <dataNode name="dn17" dataHost="node2" database="testdb17" />
        <dataNode name="dn18" dataHost="node2" database="testdb18" />
        <dataNode name="dn19" dataHost="node2" database="testdb19" />
        <dataNode name="dn20" dataHost="node2" database="testdb20" />
        <dataNode name="dn21" dataHost="node2" database="testdb21" />
        <dataNode name="dn22" dataHost="node2" database="testdb22" />
        <dataNode name="dn23" dataHost="node2" database="testdb23" />
        <dataNode name="dn24" dataHost="node2" database="testdb24" />
        <dataNode name="dn25" dataHost="node3" database="testdb25" />
        <dataNode name="dn26" dataHost="node3" database="testdb26" />
        <dataNode name="dn27" dataHost="node3" database="testdb27" />
        <dataNode name="dn28" dataHost="node3" database="testdb28" />
        <dataNode name="dn29" dataHost="node3" database="testdb29" />
        <dataNode name="dn30" dataHost="node3" database="testdb30" />
        <dataNode name="dn31" dataHost="node3" database="testdb31" />
        <dataNode name="dn32" dataHost="node3" database="testdb32" />
        <dataNode name="dn33" dataHost="node3" database="testdb33" />
        <dataNode name="dn34" dataHost="node3" database="testdb34" />
        <dataNode name="dn35" dataHost="node3" database="testdb35" />
        <dataNode name="dn36" dataHost="node3" database="testdb36" />
        <!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />
	 <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" />
	<dataNode	name="jdbc_dn2" dataHost="jdbchost" database="db2" />
	<dataNode name="jdbc_dn3" 	dataHost="jdbchost" database="db3" /> -->
	<dataHost name="node1" maxCon="1000" minCon="10" balance="1"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="192.168.8.31" url="192.168.8.31:3306" user="root"  password="mysql"></writeHost>
        </dataHost>
        <dataHost name="node2" maxCon="1000" minCon="10" balance="1"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="192.168.8.32" url="192.168.8.32:3306" user="root"  password="mysql"></writeHost>
        </dataHost>
        <dataHost name="node3" maxCon="1000" minCon="10" balance="1"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="192.168.8.33" url="192.168.8.33:3306" user="root"  password="mysql"></writeHost>
        </dataHost>
</mycat:schema>

三、配置rule.xml 


<tableRule name="sharding-by-month-adddate">
                <rule>
                        <columns>adddate</columns>
                        <algorithm>partbymonth</algorithm>
               </rule>
</tableRule>
<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
                <property name="dateFormat">yyyy-MM-dd</property> <!-- 日期格式-->
                <property name="sBeginDate">2016-01-01</property> <!-- 开始日期-->
</function>

四、启动mycat 


/usr/local/mycat/bin/mycat start

查看mycat日志 


STATUS | wrapper  | 2018/11/22 19:52:42 | --> Wrapper Started as Daemon
STATUS | wrapper  | 2018/11/22 19:52:42 | Launching a JVM...
INFO   | jvm 1    | 2018/11/22 19:52:42 | OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
INFO   | jvm 1    | 2018/11/22 19:52:44 | Wrapper (Version 3.2.3) 
INFO   | jvm 1    | 2018/11/22 19:52:44 |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved.
INFO   | jvm 1    | 2018/11/22 19:52:44 | 
INFO   | jvm 1    | 2018/11/22 19:52:49 | MyCAT Server startup successfully. see logs in logs/mycat.log

五、登录MySQL查看逻辑表 


mysql -uroot -pmysql -P8066 -h192.168.8.30



mysql> show databases;
+----------+
| DATABASE |
+----------+
| mycatdb  |
+----------+
1 row in set (0.03 sec)
mysql> use mycatdb;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+-------------------+
| Tables in mycatdb |
+-------------------+
| user04            |
| user05            |
| user06            |
+-------------------+
3 rows in set (0.01 sec)
mysql> select * from user06;
ERROR 1105 (HY000): Table 'testdb36.user06' doesn't exist
mysql> drop table if exists user06;
Query OK, 0 rows affected, 1 warning (0.38 sec)
mysql> create table user06(
    -> id int not null auto_increment,
    -> name varchar(64),
    -> adddate datetime,
    -> primary key(id)
    -> );
Query OK, 0 rows affected (1.73 sec)

六、插入测试数据 


insert into user06(id,name,adddate) values(1,'steven','2016-05-09 12:32:12');
insert into user06(id,name,adddate) values(2,'steven','2016-09-09 12:32:12');
insert into user06(id,name,adddate) values(3,'steven','2016-12-09 12:32:12');
insert into user06(id,name,adddate) values(4,'steven','2017-05-09 12:32:12');
insert into user06(id,name,adddate) values(5,'steven','2017-06-09 12:32:12');
insert into user06(id,name,adddate) values(6,'steven','2017-07-09 12:32:12');
insert into user06(id,name,adddate) values(7,'steven','2018-05-09 12:32:12');
insert into user06(id,name,adddate) values(8,'steven','2018-05-09 12:32:12');
insert into user06(id,name,adddate) values(9,'steven','2018-08-09 12:32:12');
insert into user06(id,name,adddate) values(10,'steven','2018-12-09 12:32:12');

七、验证数据

node1 


mysql> select * from testdb01.user06;
Empty set (0.00 sec)
mysql> select * from testdb02.user06;
Empty set (0.00 sec)
mysql> select * from testdb03.user06;
Empty set (0.00 sec)
mysql> select * from testdb04.user06;
Empty set (0.01 sec)
mysql> select * from testdb05.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  1 | steven | 2016-05-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)
mysql> select * from testdb06.user06;
Empty set (0.01 sec)
mysql> select * from testdb07.user06;
Empty set (0.01 sec)
mysql> select * from testdb08.user06;
Empty set (0.01 sec)
mysql> select * from testdb09.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  2 | steven | 2016-09-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)
mysql> select * from testdb10.user06;
Empty set (0.00 sec)
mysql> select * from testdb11.user06;
Empty set (0.00 sec)
mysql> select * from testdb12.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  3 | steven | 2016-12-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)

node2 


mysql> select * from testdb13.user06;
Empty set (0.00 sec)
mysql> select * from testdb14.user06;
Empty set (0.00 sec)
mysql> select * from testdb15.user06;
Empty set (0.00 sec)
mysql> select * from testdb16.user06;
Empty set (0.00 sec)
mysql> select * from testdb17.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  4 | steven | 2017-05-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)
mysql> select * from testdb18.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  5 | steven | 2017-06-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.01 sec)
mysql> select * from testdb19.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  6 | steven | 2017-07-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)
mysql> select * from testdb20.user06;
Empty set (0.01 sec)
mysql> select * from testdb21.user06;
Empty set (0.00 sec)
mysql> select * from testdb22.user06;
Empty set (0.00 sec)
mysql> select * from testdb23.user06;
Empty set (0.00 sec)
mysql> select * from testdb24.user06;
Empty set (0.01 sec)

node3 


mysql> select * from testdb25.user06;
Empty set (0.00 sec)
mysql> select * from testdb26.user06;
Empty set (0.00 sec)
mysql> select * from testdb27.user06;
Empty set (0.00 sec)
mysql> select * from testdb28.user06;
Empty set (0.01 sec)
mysql> select * from testdb29.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  7 | steven | 2018-05-09 12:32:12 |
|  8 | steven | 2018-05-09 12:32:12 |
+----+--------+---------------------+
2 rows in set (0.00 sec)
mysql> select * from testdb30.user06;
Empty set (0.01 sec)
mysql> select * from testdb31.user06;
Empty set (0.01 sec)
mysql> select * from testdb32.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
|  9 | steven | 2018-08-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)
mysql> select * from testdb33.user06;
Empty set (0.00 sec)
mysql> select * from testdb34.user06;
Empty set (0.01 sec)
mysql> select * from testdb35.user06;
Empty set (0.01 sec)
mysql> select * from testdb36.user06;
+----+--------+---------------------+
| id | name   | adddate             |
+----+--------+---------------------+
| 10 | steven | 2018-12-09 12:32:12 |
+----+--------+---------------------+
1 row in set (0.00 sec)

从2016-01到2018-12三年共36个月份，占用了36个分片，对应36个数据库，数据按照月份顺序准确插入数据库，验证完毕。

StevenBeijing
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mycat分库分表文档及demo.rar
12-02
Mycat 分库分表、主从文档及代码demo，Mycat安装配置 Mycat分库实战 Mycat扩展应用 Mycat主从同步 Mycat实战demo
MyCat数据库中间件开发实战(主从复制，读写分离，分库分表，)
06-20
前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用JDBC协议与大多数主流数据库服务器通信，其核心功能是分库分表。...
(Mycat入门篇)按照月份分布数据
一杯Mojito可以吗
03-11 409
背景 按自然月分片的规则 写在前面 原文链接http://www.fullstackyang.com/mycatxi-lie-zhi-yi-shu-ju-fen-pian-ru-men-shi-zhan/ link 和参考文档不同之处 源文档： 现在假设系统的数据库为messagedb，里面只有2张表，一张表为消息表：message，一张表示消息来源的字典表：source 一共3个mysql实例各自需要创建4个数据库 本文:一共2个mysql实例各自1个库 。 mysql版本5.7 mycat
MyCat教程【分库分表】
波波烤鸭的博客
10-16 7954
  本文我们来介绍下MyCat的分库分表操作 分库分表 一、分片规则介绍   在rule.xml中定义了各种myCat支持的分片规则。 分片规则 说明 auto-sharding-long 默认的规则，以 500 万为单位,实现分片规则.逻辑库 A 对应 dataNode - db1 和 db2. 1-500 万保存在 db1 中, 500 万零 1 到 1000 万保存在 db2...
mycat实现mysql大表自动水平扩展
crj_9527的博客
03-03 7394
mycat实现mysql大表自动水平扩展
分库分表实战-- Mycat实战
Captain Leo的专栏
04-02 3552
Mycat、简介、核心概念、逻辑库、逻辑表、分片表、非分片表、ER表、全局表、分片节点、节点主机、分片规则、server配置、Schema配置、rule配置、Mycat安装、分库分表、读写分离、强制路由、主从延时切换、Mycat事务、XA 事务使用、保证Repeatable Read
Docker安装Mycat和Mysql进行水平分库分表实战【图文教学】.doc
07-10
Docker 安装 Mycat 和 Mysql 进行水平分库分表实战 一、 Docker 安装 Mycat 和 Mysql 的概述 在本文中，我们将使用 Docker 安装 Mycat 和 Mysql，进行水平分库分表实战。Mycat 是一个开源的数据库中间件，支持 ...
实战集训营-带你锤碎MySQL.zip
01-22
网盘文件永久链接 目录 01 01-1MySQL介绍及索引介绍.mp4 01-2索引原理.mp4 01-3组合索引.mp4 01-4索引分析01.mp4 01-5索引分析02.mp4 02 02-1锁的介绍.mp4 ... 05-1分库分表介绍.mp4 05-2数据分片方案.mp4
Mycat入门和读写分离实战
12-14
 MyCAT是一款由阿里Cobar演变而来的用于支持数据库，读写分离、分表分库的分布式中间件。MyCAT支持Oracle、MSSQL、MYSQL、PG、DB2关系型数据库，同时也支持MongoDB等非关系型数据库。  MyCAT原理MyCAT主要是通过对...
Spring Security实现用户认证四：使用JWT与Redis实现无状态认证
不做菜虚困的博客
06-12 760
在基本的通信流程中，我们一般采用Session去存储用户的认证状态。在Spring Security实现用户认证三中讲过，在拿到前端传输过来的用户名和密码之后，会有专门的过滤器处理这部分的需求，并且对认证成功的用户生成Token且存储在Session中。在下次发起请求时，直接从Session中取出同用户名的token进行密码哈希的比较要认证用户。对于无状态认证，则我们的认证不依赖与服务器端存储的Session的状态。所以无状态认证需要我们每次从前端传输一个包含完整认证信息的Token到服务器端进行自定义的认
canal应用
qq_33816292的博客
06-12 140
canal分享模块链接。
快捷键专栏 IDEA、Navicat、电脑、Excle、Word等
忆往昔的博客
06-12 842
使用小技巧
【云岚到家】-day04-1-数据同步方案-Canal-MQ
bblb的博客
06-14 974
【云岚到家】-day04-1-数据同步方案-Canal-MQ
源码编译安装LAMP
潇的博客
06-12 875
LAMP 架构是目前成熟的企业网站应用模式之一，指的是协同工作的一整套系统和相关软件，能够提供动态Web站点服务及其应用开发环境。LAMP是一个缩写词，具体包括Linux操作系统、Apache网站服务器、MySQL数据库服务器、PHP(或Perl、Python)网页编程语言。本章将以源码编译的方式搭建LAMP环境，能够满足企业定制化的需求。在构建LAMP平台时，各组件的安装顺序依次为Linux、Apache、MySQL、PHP。其中Apache和MySQL的安装并没有严格的顺序；
Windows10 MySQL（8.0.37）安装与配置
最新发布
XLB
06-16 263
新建变量：%MYSQL_HOME%\bin 点击确定，也可以单独在path设置成一条：C:\MySQL\mysql-8.0.37-winx64\bin即可。C:\Mysql\mysql-8.0.37-winx64 （安装路径）工具栏搜索：高级系统设置，或者鼠标右键此电脑>属性>高级系统设置。保存，将my.txt文件后缀改为.ini。编辑my.txt文件，输入以下内容。系统变量找到：Path 点击编辑。解压文件，解压到你想要的位置。(没错就是要点三个确定)新建my.txt文件。点击确定，确定，确定。
Django UpdateView视图
人生苦短，何妨一试
06-11 441
UpdateView是Django中的一个通用视图，用于处理对象的更新操作。它允许用户更新一个已经存在的对象。UpdateView通常与一个模型表单一起使用，这样用户就可以看到当前对象的值，并可以修改它们。
盲盒App开发时有哪些技术框架可以借鉴
bytekj的博客
06-14 506
在开发盲盒App时，可以根据项目需求和团队技术栈选择合适的技术框架。前端可以选择微信小程序框架、React Native或Vue.js等；后端可以选择Node.js或Spring Boot等；数据库可以选择MySQL或MongoDB等。同时，还需要考虑缓存、消息队列、支付和物流接口等其他技术来完善应用的功能和性能。
mycat 分库分表
08-28
你好！对于将数据库进行分库分表的问题，我可以给你一些基本的解释和建议。 分库分表是一种常见的数据库架构设计方式，旨在提高数据库的性能和扩展性。它通过将数据分散到多个数据库实例（分库）和多个数据表（分表）中来实现。 分库分表的优点之一是可以将负载均衡在多个数据库实例上，从而提供更好的性能和并发处理能力。它还可以减少单个数据库的存储压力，提高系统的可用性和容错性。 然而，分库分表也会带来一些挑战和复杂性。在实施分库分表之前，你需要仔细考虑以下几点： 1. 数据划分：确定如何划分数据到不同的数据库和表中。常用的划分策略包括按照业务模块、按照用户ID范围或按照时间范围等。 2. 数据一致性：当数据被拆分到不同的数据库和表中时，你需要考虑如何保持数据的一致性。这可能涉及到跨数据库的事务管理或采用一致性哈希算法来路由请求。 3. 跨库查询：当需要查询跨多个数据库和表时，你需要设计适当的查询策略，可能涉及到使用分布式查询引擎或者采用数据同步机制。 4. 数据迁移和扩展：在系统运行过程中，你可能需要进行数据迁移或者添加新的数据库实例来扩展系统的容量。这需要考虑到数据迁移的成本和对业务的影响。 总之，分库分表是一项复杂的数据库架构设计任务，需要仔细评估和规划。在实施之前，建议你详细了解你的系统需求和数据模型，并考虑使用成熟的分库分表方案或者咨询专业的数据库架构师来提供支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值