最全Mycat实现分库分表_mycat如何对现有库做分库分表，大数据开发高级开发面试题

最新推荐文章于 2024-09-05 14:31:09 发布

2401_84185951

最新推荐文章于 2024-09-05 14:31:09 发布

阅读量989

点赞数 17

分类专栏：程序员文章标签：大数据

本文链接：https://blog.csdn.net/2401_84185951/article/details/138548343

版权

程序员专栏收录该内容

112 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

* 数据节点`mysql-node2`

 
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount    |
+----+------------+-------------+-----------+
|  3 |        101 |         101 | 120000.00 |
|  4 |        101 |         101 | 103000.00 |
|  5 |        102 |         101 | 100400.00 |
+----+------------+-------------+-----------+
3 rows in set (0.00 sec)

```

2.2、Mycat 的分片 join-ER 表

orders订单表已经进行分表操作了，和它关联的orders_detail订单详情表如何进行join查询。

我们要对orders_detail也要进行分片操作。join的原理如下图：

在这里插入图片描述

2.2.1、ER 表

Mycat借鉴了NewSQL领域的新秀Foundation DB 的设计思路，Foundation DB 创新性的提出了Table Group的概念，其将子表的存储位置依赖于主表，并且物理上紧邻存放，因此彻底解决了JION 的效率和性能问题，根据这一思路，提出了基于E-R关系的数据分片策略，子表的记录与所关联的父表记录存放在同一个数据分片上。

修改配置文件schema.xml

<table name="orders" dataNode="dn1,dn2" rule="mod\_rule" >
    <childTable name="orders\_detail" primaryKey="id" joinKey="order\_id" parentKey="id" />
</table>

需在数据节点mysql-node2创建orders表

#订单详细表
CREATE TABLE orders_detail(
 id INT AUTO_INCREMENT,
 detail VARCHAR(2000),
 order_id INT,
 PRIMARY KEY(id)
);

重启Mycat

在Mycat里向orders_detail表插入数据，INSERT字段不能省略。Mycat需要根据字段进行分片操作。

INSERT INTO orders_detail(id,detail,order_id) values(1,'detail1',1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,'detail1',2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,'detail1',3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,'detail1',4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,'detail1',5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,'detail1',6);

运行两个表join语句

+ `Mycat`

 
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount    | detail  |
+----+------------+-------------+-----------+---------+
|  1 |        101 |         100 | 100100.00 | detail1 |
|  2 |        101 |         100 | 100300.00 | detail1 |
|  6 |        102 |         100 | 100020.00 | detail1 |
|  3 |        101 |         101 | 120000.00 | detail1 |
|  4 |        101 |         101 | 103000.00 | detail1 |
|  5 |        102 |         101 | 100400.00 | detail1 |
+----+------------+-------------+-----------+---------+
6 rows in set (0.03 sec)

```
+ `mysql-node1`

 
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount    | detail  |
+----+------------+-------------+-----------+---------+
|  1 |        101 |         100 | 100100.00 | detail1 |
|  2 |        101 |         100 | 100300.00 | detail1 |
|  6 |        102 |         100 | 100020.00 | detail1 |
+----+------------+-------------+-----------+---------+
3 rows in set (0.01 sec)

```
+ `mysql-node2`

 
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount    | detail  |
+----+------------+-------------+-----------+---------+
|  3 |        101 |         101 | 120000.00 | detail1 |
|  4 |        101 |         101 | 103000.00 | detail1 |
|  5 |        102 |         101 | 100400.00 | detail1 |
+----+------------+-------------+-----------+---------+
3 rows in set (0.00 sec)

```

2.2.2、全局表

在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联，就成了比较棘手的问题，考虑到字典表具有以下几个特性：

变动不频繁
数据量总体变化不大
数据规模不大，很少有超过数十万条记录

鉴于此，Mycat定义了一种特殊的表，称之为“全局表”，全局表具有以下特性：

全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性
全局表的查询操作，只从一个节点获取
全局表可以跟任何一个表进行JOIN操作

将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据JOIN的难题。通过全局表+基于E-R关系的分片策略，Mycat可以满足 80%以上的企业应用开发

配置步骤：

修改配置文件schema.xml

<table name="dict\_order\_type" dataNode="dn1,dn2" type="global" ></table>

需在数据节点mysql-node2创建dict_order_type表

#订单状态字典表
CREATE TABLE dict_order_type(
 id INT AUTO_INCREMENT,
 order_type VARCHAR(200),
 PRIMARY KEY(id)
);

重启Mycat

在Mycat里向dict_order_type表插入数据。

INSERT INTO dict_order_type(id,order_type) VALUES(101,'type1');
INSERT INTO dict_order_type(id,order_type) VALUES(102,'type2');

1. + `Mycat`
	
	 
	```
	mysql> select * from dict_order_type;
	+-----+------------+
	| id  | order_type |
	+-----+------------+
	| 101 | type1      |
	| 102 | type2      |
	+-----+------------+
	2 rows in set (0.04 sec)
	
	```
	+ 数据节点`mysql-node1`
	
	 
	```
	mysql> select * from dict_order_type;
	+-----+------------+
	| id  | order_type |
	+-----+------------+
	| 101 | type1      |
	| 102 | type2      |
	+-----+------------+
	2 rows in set (0.00 sec)
	
	```
	+ 数据节点`mysql-node2`
	
	 
	```
	mysql> select * from dict_order_type;
	+-----+------------+
	| id  | order_type |
	+-----+------------+
	| 101 | type1      |
	| 102 | type2      |
	+-----+------------+
	2 rows in set (0.00 sec)
	
	```

三、常用分片规则

3.1、取模

此规则为对分片字段求摸运算。也是水平分表最常用规则。配置分表中，orders表采用了此规则。

3.2、分片枚举

通过在配置文件中配置可能的枚举id，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则。

配置步骤：

修改配置文件schema.xml

<table name="orders\_ware\_info" dataNode="dn1,dn2" rule="sharding\_by\_intfile" ></table>

修改配置文件rule.xml

        <tableRule name="sharding\_by\_intfile">
                <rule>
                        <columns>areacode</columns>
                        <algorithm>hash-int</algorithm>
                </rule>
        </tableRule>

+ `columns`：分片字段
+ `algorithm`：分片函数

        <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
                <property name="mapFile">partition-hash-int.txt</property>
                <property name="type">1</property>
                <property name="defaultNode">0</property>
        </function>

+ `mapFile`：标识配置文件名称
+ `type`：0为int型、非0为`String`
+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。

修改配置文件partition-hash-int.txt

110=0
120=1

重启Mycat

在Mycat里创建表。

# 订单归属区域信息表
CREATE TABLE orders_ware_info
(
	`id` INT AUTO_INCREMENT comment '编号',
	`order_id` INT comment '订单编号',
	`address` VARCHAR(200) comment '地址',
	`areacode` VARCHAR(20) comment '区域编号',
	PRIMARY KEY(id)
);

插入数据

INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (1,1,'北京','110');
INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (2,2,'天津','120');

+ `Mycat`

 
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
 | id | order_id | address | areacode |
+----+----------+---------+----------+
 |  1 |        1 | 北京    | 110      |
|  2 |        2 | 天津    | 120      |
+----+----------+---------+----------+
2 rows in set (0.02 sec)

```
+ 数据节点`mysql-node1`

 
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
 | id | order_id | address | areacode |
+----+----------+---------+----------+
 |  1 |        1 | 北京    | 110      |
+----+----------+---------+----------+
1 row in set (0.00 sec)

```
+ 数据节点`mysql-node2`

 
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
| id | order_id | address | areacode |
 +----+----------+---------+----------+
|  2 |        2 | 天津    | 120      |
+----+----------+---------+----------+
1 row in set (0.00 sec)

```

3.3、范围约定

此分片适用于提前规划好分片字段某个范围属于哪个分片。

配置步骤：

修改配置文件schema.xml

<table name="payment\_info" dataNode="dn1,dn2" rule="auto\_sharding\_long" ></table>

修改配置文件rule.xml

        <tableRule name="auto\_sharding\_long">
                <rule>
                        <columns>order_id</columns>
                        <algorithm>rang-long</algorithm>
                </rule>
        </tableRule>

+ `columns`：分片字段
+ `algorithm`：分片函数

        <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
                <property name="mapFile">autopartition-long.txt</property>
                <property name="defaultNode">0</property>
        </function>

+ `mapFile`：标识配置文件名称
+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。

修改配置文件autopartition-long.txt

0-102=0
103-200=1

重启Mycat

在Mycat里创建表。

# 支付信息表
CREATE TABLE payment_info
(
    `id` INT AUTO_INCREMENT comment '编号',
    `order_id` INT comment '订单编号',
    `payment_status` INT comment '支付状态',
    PRIMARY KEY(id)
);

插入数据

INSERT INTO payment_info (id,order_id,payment_status) VALUES (1,101,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (2,102,1);
INSERT INTO payment_info (id,order_id ,payment_status) VALUES (3,103,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (4,104,1);

+ `Mycat`

 
```
mysql> select * from payment_info;
+----+----------+----------------+
| id | order_id | payment_status |
+----+----------+----------------+
|  1 |      101 |              0 |
|  2 |      102 |              1 |
|  3 |      103 |              0 |
|  4 |      104 |              1 |
+----+----------+----------------+
4 rows in set (0.02 sec)

```
+ 数据节点`mysql-node1`

 
```
mysql> select * from payment_info;
+----+----------+----------------+
| id | order_id | payment_status |
+----+----------+----------------+
|  1 |      101 |              0 |
|  2 |      102 |              1 |
+----+----------+----------------+
2 rows in set (0.00 sec)

```
+ 数据节点`mysql-node2`

 
```
mysql> select * from payment_info;
+----+----------+----------------+
| id | order_id | payment_status |
+----+----------+----------------+
|  3 |      103 |              0 |
|  4 |      104 |              1 |
+----+----------+----------------+
2 rows in set (0.00 sec)

```

3.4、按日期（天）分片

此规则为按天分片。设定时间格式、范围。

配置步骤：

修改配置文件schema.xml

<table name="login\_info" dataNode="dn1,dn2" rule="sharding\_by\_date" ></table>

修改配置文件rule.xml

        <tableRule name="sharding\_by\_date">
                <rule>
                        <columns>login_date</columns>
                        <algorithm>shardingByDate</algorithm>
                </rule>
        </tableRule>

+ `columns`：分片字段
+ `algorithm`：分片函数

        <function name="shardingByDate" class="io.mycat.route.function.PartitionByDate">
                <property name="dateFormat">yyyy-MM-dd</property>
                <property name="sBeginDate">2019-01-01</property>
                <property name="sEndDate">2019-01-04</property>
                <property name="sPartionDay">2</property>
        </function>

+ `dateFormat` ：日期格式
+ `sBeginDate` ：开始日期
+ `sEndDate`：结束日期，则代表数据达到了这个日期的分片后循环从开始分片插入
+ `sPartionDay` ：分区天数，即默认从开始日期算起，分隔`2`天一个分区

重启Mycat

在Mycat里创建表。

# 登录信息
CREATE TABLE login_info
(
    `id` INT AUTO_INCREMENT comment '编号',
    `user_id` INT comment '用户编号',
    `login_date` date comment '登录日期',
    PRIMARY KEY(id)
);

插入数据

INSERT INTO login_info(id,user_id,login_date) VALUES (1,101,'2019-01-01');
INSERT INTO login_info(id,user_id,login_date) VALUES (2,102,'2019-01-02');
INSERT INTO login_info(id,user_id,login_date) VALUES (3,103,'2019-01-03');
INSERT INTO login_info(id,user_id,login_date) VALUES (4,104,'2019-01-04');
INSERT INTO login_info(id,user_id,login_date) VALUES (5,103,'2019-01-05');
INSERT INTO login_info(id,user_id,login_date) VALUES (6,104,'2019-01-06');

+ `Mycat`

 
```
mysql> select * from login_info;
+----+---------+------------+
| id | user_id | login_date |
+----+---------+------------+
|  1 |     101 | 2019-01-01 |
|  2 |     102 | 2019-01-02 |
|  5 |     103 | 2019-01-05 |
|  6 |     104 | 2019-01-06 |
|  3 |     103 | 2019-01-03 |
|  4 |     104 | 2019-01-04 |
+----+---------+------------+
6 rows in set (0.02 sec)

```
+ 数据节点`mysql-node1`

 
```
mysql> select * from login_info;
+----+---------+------------+
| id | user_id | login_date |
+----+---------+------------+
|  1 |     101 | 2019-01-01 |
|  2 |     102 | 2019-01-02 |
|  5 |     103 | 2019-01-05 |
|  6 |     104 | 2019-01-06 |
+----+---------+------------+
4 rows in set (0.00 sec)

```
+ 数据节点`mysql-node2`

 
```
mysql> select * from login_info;
+----+---------+------------+
| id | user_id | login_date |
+----+---------+------------+
|  3 |     103 | 2019-01-03 |
|  4 |     104 | 2019-01-04 |
+----+---------+------------+
2 rows in set (0.00 sec)

```

四、全局序列

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，Mycat提供了全局sequence，并且提供了包含本地配置和数据库配置等多种实现方式

4.1、本地文件

此方式Mycat 将sequence配置到文件中，当使用到sequence中的配置后，Mycat会更新classpath中的 sequence_conf.properties文件中sequence当前的值。

优点：本地加载，读取速度较快
缺点：抗风险能力差，Mycat所在主机宕机后，无法读取本地文件。

4.2、数据库方式

利用数据库一个表来进行计数累加。但是并不是每次生成序列都读写数据库，这样效率太低。 Mycat会预加载一部分号段到Mycat的内存中，这样大部分读写序列都是在内存中完成的。如果内存中的号段用完了Mycat会再向数据库要一次。

如果Mycat崩溃了，内存中的序列都没有了。Mycat启动后会向数据库申请新的号段，原有号段会弃用。也就是说如果Mycat重启，那么损失是当前的号段没用完的号码，但是不会因此出现主键重复

在 mysql-node1上创建全局序列表

建库序列脚本

CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;

# 创建全局序列所需函数
DELIMITER $$
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END $$
DELIMITER;

DELIMITER $$
CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS
VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = VALUE
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END $$
DELIMITER;

DELIMITER $$
CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END $$
DELIMITER;

# 初始化序列表记录
INSERT INTO MYCAT_SEQUENCE(NAME,current_value,increment) VALUES ('ORDERS', 400000, 100);

查询序列表

mysql> select * from MYCAT_SEQUENCE;
+--------+---------------+-----------+
| NAME   | current_value | increment |
+--------+---------------+-----------+
| ORDERS |        400000 |       100 |
+--------+---------------+-----------+
1 row in set (0.00 sec)

修改Mycat配置

修改sequence_db_conf.properties

vi sequence_db_conf.properties

# 序列名称=节点
ORDERS=dn1

意思是ORDERS这个序列在dn1这个节点上，具体dn1节点是哪台机子，请参考schema.xml。

修改配置文件server.xml

vi server.xml

将里面的值修改为1

<property name="sequnceHandlerType">1</property>

全局序列类型：

+ 0-本地文件
+ 1-数据库方式
+ 2-时间戳方式。

启动Mycat，验证全局序列

insert into orders(id,amount,customer_id,order_type) values(next value for MYCATSEQ_ORDERS,1000,101,102);

查询数据

mysql> select * from orders;
+--------+------------+-------------+-----------+
| id     | order_type | customer_id | amount    |
+--------+------------+-------------+-----------+
|      1 |        101 |         100 | 100100.00 |
|      2 |        101 |         100 | 100300.00 |
|      6 |        102 |         100 | 100020.00 |
|      3 |        101 |         101 | 120000.00 |
|      4 |        101 |         101 | 103000.00 |


![img](https://img-blog.csdnimg.cn/img_convert/56093b785bbbffa89809c3468ca99b34.png)
![img](https://img-blog.csdnimg.cn/img_convert/1b7a2dae89c128cbdb49e6be9dc0c944.png)
![img](https://img-blog.csdnimg.cn/img_convert/f770d1575f01dbfba345d079122ddc40.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

from orders;
+--------+------------+-------------+-----------+
| id     | order_type | customer_id | amount    |
+--------+------------+-------------+-----------+
|      1 |        101 |         100 | 100100.00 |
|      2 |        101 |         100 | 100300.00 |
|      6 |        102 |         100 | 100020.00 |
|      3 |        101 |         101 | 120000.00 |
|      4 |        101 |         101 | 103000.00 |


[外链图片转存中...(img-zNGSYMwE-1715092302894)]
[外链图片转存中...(img-IW5FWpoK-1715092302894)]
[外链图片转存中...(img-mAHPDoLh-1715092302895)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**