MyCat实现分库分表

最新推荐文章于 2024-07-11 20:24:07 发布
最新推荐文章于 2024-07-11 20:24:07 发布
阅读量705 收藏 21
点赞数 24
分类专栏： MyCat 文章标签： mysql 数据库 sql java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46267506/article/details/138724183
版权

两个集群 两个库 两个表


相关文档
MyCat安装

搭建数据库服务

使用docker启动两个mysql 3506 3507

version: '3'
services:
  lx-one:
    image: mysql:8.0.29
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: 123456
      MYSQL_PASSWORD: 123456
    ports:
      - 3506:3306
    container_name: "lx-one"
    
  lx-two:
    image: mysql:8.0.29
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: 123456
      MYSQL_PASSWORD: 123456
    ports:
      - 3507:3306

    container_name: "lx-two"

连接MyCat创建两个数据源

/*+ mycat:createDataSource{
"name":"dw0",
"url":"jdbc:mysql://172.23.85.23:3506",
"user":"root",
"password":"123456"
} */;

/*+ mycat:createDataSource{
"name":"dr0",
"url":"jdbc:mysql://172.23.85.23:3506",
"user":"root",
"password":"123456"
} */;

/*+ mycat:createDataSource{
"name":"dw1",
"url":"jdbc:mysql://172.23.85.23:3507",
"user":"root",
"password":"123456"
} */;

/*+ mycat:createDataSource{
"name":"dr1",
"url":"jdbc:mysql://172.23.85.23:3507",
"user":"root",
"password":"123456"
} */;

在这里插入图片描述

连接MyCat创建集群

/*! mycat:createCluster{"name":"c0","masters":["dw0"],"replicas":["dr0"]}*/;
/*!mycat:createCluster{"name":"c1","masters":["dw1"],"replicas":["dr1"]}*/;

在这里插入图片描述
c0.cluster.json

{
        "clusterType":"MASTER_SLAVE",
        "heartbeat":{
                "heartbeatTimeout":1000,
                "maxRetryCount":3,
                "minSwitchTimeInterval":300,
                "showLog":false,
                "slaveThreshold":0.0
        },
        "masters":[
                "dw0"
        ],
        "maxCon":2000,
        "name":"c0",
        "readBalanceType":"BALANCE_ALL",
        "replicas":[
                "dr0"
        ],
        "switchType":"SWITCH"
}

c1.cluster.json

{
        "clusterType":"MASTER_SLAVE",
        "heartbeat":{
                "heartbeatTimeout":1000,
                "maxRetryCount":3,
                "minSwitchTimeInterval":300,
                "showLog":false,
                "slaveThreshold":0.0
        },
        "masters":[
                "dw1"
        ],
        "maxCon":2000,
        "name":"c1",
        "readBalanceType":"BALANCE_ALL",
        "replicas":[
                "dr1"
        ],
        "switchType":"SWITCH"
}

集群文件名称规范是 c0.cluster.json 、 c1.cluster.json 、 c2.cluster.json，以此类推，mycat启动的时候才会自动识别集群配置文件。

mycat创建逻辑库

CREATE DATABASE db1

在这里插入图片描述
db1.shema.json内容

{
        "customTables":{},
        "globalTables":{},
        "normalProcedures":{},
        "normalTables":{},
        "schemaName":"db1",
        "shardingTables":{},
        "views":{}
}

MyCat创建全局表广播表

CREATE TABLE db1.`travelrecord` (
 `id` bigint NOT NULL AUTO_INCREMENT,
 `user_id` varchar(100) DEFAULT NULL,
 `traveldate` date DEFAULT NULL,
 `fee` decimal(10,0) DEFAULT NULL,
 `days` int DEFAULT NULL,
 `blob` longblob,
 PRIMARY KEY (`id`),
 KEY `id` (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 BROADCAST;

查看db1.schema.json变化

{
        "customTables":{},
        "globalTables":{
                "travelrecord":{
                        "broadcast":[
                                {
                                        "targetName":"c1"
                                },
                                {
                                        "targetName":"c0"
                                }
                        ],
                        "createTableSQL":"CREATE TABLE db1.`travelrecord` (\n\t`id` bigint NOT NULL AUTO_INCREMENT,\n\t`user_id` varchar(100) DEFAULT NULL,\n\t`traveldate` date DEFAULT NULL,\n\t`fee` decimal(10, 0) DEFAULT NULL,\n\t`days` int DEFAULT NULL,\n\t`blob` longblob,\n\tPRIMARY KEY (`id`),\n\tKEY `id` (`id`)\n) BROADCAST ENGINE = InnoDB CHARSET = utf8"
                }
        },
        "normalProcedures":{},
        "normalTables":{},
        "schemaName":"db1",
        "shardingTables":{},
        "views":{}
}

不需要自己指定targetName,创建全局表之后 会自动指定targetName。可能是自动识别了集群配置文件。因为全局表是每个库都要有的。所以mycat需要知道有哪些数据库

两个数据库3506、3507物理表有什么变化呢
在这里插入图片描述
发现两个MySQL服务也都有了db1 库和表

创建分片表

CREATE TABLE db1.orders(
id BIGINT NOT NULL AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id),
KEY `id` (`id`)
)ENGINE=INNODB DEFAULT CHARSET=utf8
dbpartition BY mod_hash(customer_id) tbpartition BY mod_hash(customer_id)
tbpartitions 1 dbpartitions 2;

查看db1.schema.json变化

{
        "customTables":{},
        "globalTables":{
                "travelrecord":{
                        "broadcast":[
                                {
                                        "targetName":"c1"
                                },
                                {
                                        "targetName":"c0"
                                }
                        ],
                        "createTableSQL":"CREATE TABLE db1.`travelrecord` (\n\t`id` bigint NOT NULL AUTO_INCREMENT,\n\t`user_id` varchar(100) DEFAULT NULL,\n\t`traveldate` date DEFAULT NULL,\n\t`fee` decimal(10, 0) DEFAULT NULL,\n\t`days` int DEFAULT NULL,\n\t`blob` longblob,\n\tPRIMARY KEY (`id`),\n\tKEY `id` (`id`)\n) BROADCAST ENGINE = InnoDB CHARSET = utf8"
                }
        },
        "normalProcedures":{},
        "normalTables":{},
        "schemaName":"db1",
        "shardingTables":{
                "orders":{
                        "createTableSQL":"CREATE TABLE db1.orders (\n\tid BIGINT NOT NULL AUTO_INCREMENT,\n\torder_type INT,\n\tcustomer_id INT,\n\tamount DECIMAL(10, 2),\n\tPRIMARY KEY (id),\n\tKEY `id` (`id`)\n) ENGINE = INNODB CHARSET = utf8\nDBPARTITION BY mod_hash(customer_id) DBPARTITIONS 2\nTBPARTITION BY mod_hash(customer_id) TBPARTITIONS 1",
                        "function":{
                                "properties":{
                                        "dbNum":"2",
                                        "mappingFormat":"c${targetIndex}/db1_${dbIndex}/orders_${index}",
                                        "tableNum":"1",
                                        "tableMethod":"mod_hash(customer_id)",
                                        "storeNum":2,
                                        "dbMethod":"mod_hash(customer_id)"
                                }
                        },
                        "shardingIndexTables":{}
                }
        },
        "views":{}
}

文件解释

  • shardingTables ：分片表规则
  • shardingTables.properties： 分片配置
  • dbNum：分库数量
  • dbMethod(customer_id) ：库的分片算法,以及根据的字段
  • tableNum：分表数量
  • tableMethod(customer_id) ：表的分片算法,以及根据的字段

mycat逻辑库

在这里插入图片描述
物理库 两个MySQL 服务也都分了库和表
在这里插入图片描述
为什么出现了db1_0和db1_1

因为在创建表的时候指定了数据库分片规则和数据表的分片规则
dbpartition BY mod_hash(customer_id) tbpartition BY mod_hash(customer_id)
tbpartitions 1 dbpartitions 2;

MyCat插入数据

INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount)
VALUES(6,102,100,100020);

mycat查看数据

在这里插入图片描述

物理库3506查看数据

在这里插入图片描述

物理库3507查看数据

在这里插入图片描述

发现每个物理库根据分片字段存储数据库是不一样的,

ER表

与分片表关联的表如何分表，也就是 ER 表如何分表，

创建ER表

CREATE TABLE orders_detail(
`id` BIGINT NOT NULL AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
)ENGINE=INNODB DEFAULT CHARSET=utf8
dbpartition BY mod_hash(order_id) tbpartition BY mod_hash(order_id)
tbpartitions 1 dbpartitions 2;

mycat显示
在这里插入图片描述
物理库3506显示
在这里插入图片描述
物理库3507显示
在这里插入图片描述

mycat插入数据

INSERT INTO orders_detail(id,detail,order_id) VALUES(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);

mycat查询数据

在这里插入图片描述

物理节点3506数据分布

在这里插入图片描述

物理节点3507数据分布

在这里插入图片描述

join关联查询

SELECT * FROM orders o INNER JOIN orders_detail od ON od.order_id=o.id;

在这里插入图片描述
看一下具体物理划分到底是不是数据都划分到一块了呢?
物理节点3506数据分布
在这里插入图片描述
物理节点3507数据分布
在这里插入图片描述
发现两个数据有的不是在同一个数据库 怎么查询出来的呢?
在这里插入图片描述
原理:
mycat作为一个中间件，根据查询的SQL语句进行分片分析，找到对应的实际物理数据库节点，然后把数据合并之后再返回。
查看配置的表是否具有 ER 关系(父表和子表的关系),使用

/*+ mycat:showErGroup{}*/

在这里插入图片描述

一个是db1下的orders，一个是db1下的orders_detail都属于一个groupId
#group_id 表示相同的组,该组中的表具有相同的存储分布，运行关联语句的时候，就会把相同组的表自动进行关联

努力变优秀_Very
关注
  • 24
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mycat 分库分表
03-27
**mycat 分库分表详解** mycat 是一个开源的分布式数据库中间件，它能够将一个大型数据库逻辑上划分为多个小型数据库，实现数据的分布式存储，以解决单机数据库在高并发、大数据量场景下的性能瓶颈问题。mycat 在 ...
Mycat数据库分库分表
10-28
《Mycat数据库分库分表详解》 在大数据时代，单个数据库处理海量数据的能力逐渐捉襟见肘，这催生了数据库分库分表的需求。Mycat，作为一个开源的分布式数据库中间件，应运而生，为解决大数据场景下的高性能、高可用...
Mycat实现分库分表
微枫Micromaple的博客
06-20 4826
Mycat分库分表实战
myCat实现分库分表
python_web全栈
08-19 3711
myCat实现分库分表分库
springboot mycat实现分库分表
小石潭记丶
03-28 1032
1.下载mycat： https://github.com/MyCATApache/Mycat-Server/releases/tag/Mycat-server-1.6.7.4-release 2.解压到指定目录 3.配置schema.xml <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dt...
SpringBoot集成MyCat实现分库分表
CodersCoder的博客
12-08 1815
Mycat 它是一个开源的分布式数据库系统，是一个实现了 MySQL 协议的Server，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生（Native）协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信，其核心功能是分表分库，即将一个大表水平分割为 N 个小表，存储在后端 MySQL 服务器里或者其他数据库里。 Mycat关键特性 支持SQL92标准 支持MySQL、Oracle、DB2、SQL Serv
Mycat实现分库分表（一）
didididi123321的博客
04-09 2977
啊
mycat实现分库分表
迪迦奥特曼的博客
05-31 300
1.下载mycat 1.6正式版的（Windows版本） https://pan.baidu.com/s/1AI_5sZQCAj0i4fGCC7x6tg 提取码：a1zk 解压后如下图所示： 2. 新建2个庫，庫名分别为heatingwork1,heatingwork2,2个庫新建相同的表。 SET FOREIGN_KEY_CHECKS=0; -- ---------------------------- -- Table structure for sys_user -- -------------
2024年最全Mycat实现分库分表_mycat如何对现有库做分库分表
2401_84181058的博客
05-03 546
相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则。将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据。关系的数据分片策略，子表的记录与所 关联的父表记录存放在同一个数据分片上。的概念，其将子表的存储位置依赖于主表，并且物理上紧邻存放，因此彻底解决了。的效率和性能问题，根据这一思路，提出了基于。
【Mycat2实战】四、Mycat实现分库分表【概念篇】
笑小枫
11-21 594
首先，我们需要知道所谓"分库分表"，根本就不是一件事儿，而是三件事儿，他们要解决的问题也都不一样。这三个事儿分别是"只分库不分表"、“只分表不分库”、以及"既分库又分表"。分库：就是一个数据库分成多个数据库，部署到不同机器。分表：就是一个数据库表分成多个表。
【Mycat2实战】五、Mycat实现分库分表【实践篇】
笑小枫
11-21 1355
本文主要讲如何使用Mycat来实现分库分表。正式配置之前，先声明一下，配置分表这里采用注释配置的方法，配置即可生效并且动态更新Mycat配置并且把配置持久化，具体可参考通过注释配置文档介绍，这个注释配置挺方便的。后面的Mycat分片算法讲解会介绍直接通过建表语句创建分片。这里介绍和上文Mycat已执行的内容均无关联，这里先重置Mycat配置。重置后读写分离文章中相关的配置全部清除。
Mycat 数据库分库分表中间件.pdf
02-08
《Mycat数据库分库分表中间件》 在当今大数据时代，单个数据库系统往往无法满足高并发、海量数据的处理需求。为了解决这一问题，Mycat应运而生，它是一款开源的、基于Java开发的数据库中间件，专门用于实现数据库的...
Mycat分库分表文档及demo.rar
12-02
Mycat的核心功能是实现数据库的分库分表，它能将一个大型的单体数据库拆分成多个小型的数据库集群，以达到水平扩展的目的，提高系统的并发处理能力和数据读写速度。 **1. Mycat安装配置** 在开始使用Mycat之前，...
MyCat实现MySQL分库分表.docx
06-13
MyCat 实现 MySQL 分库分表 MyCat 是一个开源的 MySQL 中间件，可以帮助实现 MySQL 的分库分表。下面是使用 MyCat 实现 MySQL 分库分表的知识点总结： 一、MyCat 安装 * 使用 wget 命令下载 MyCat 服务器 * 使用 ...
MySQL Buffer Pool
Mazai-Liu的博客
07-08 1096
LRU链表分为冷、热数据区域，前63%为热数据区域，后37%为冷数据区域，加载缓存页先放到冷数据区域头部。冷数据区域的缓存页第一次访问超过1秒后，再次访问时才会被移动到热数据区域头部。热数据区域中，只有后3/4的缓存页被访问才会移到头部，前1/4被访问到不会移动。淘汰数据优先淘汰冷数据区域尾部的缓存页。
mysql之比较两个表的数据
hebtu666
07-08 502
要比较两个结构相同的表中的某条数据是否完全一样，您可以使用JOIN语句或者EXISTS关键字来对比这两个表中相应的行。
如何快速将Excel定义的表结构转换为MySQL的建表语句
这家伙很懒，什么都没有留下
07-09 1087
在数据管理和数据库设计中，经常需要从Excel文件中获取表结构并快速转换为MySQL数据库的建表语句。这个过程不仅可以节省大量手动输入的时间，还能减少因人为错误导致的数据库设计问题。本文将详细介绍如何高效地完成这一过程，包括使用不同的方法和工具，以及提供实际案例和代码示例，旨在帮助初学者和技术人员快速掌握这一技能。
mysql笔记1
最新发布
m0_62975692的博客
07-11 236
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值