大数据最新Mycat实现分库分表_mycat如何对现有库做分库分表，大数据开发插件化入门指南

最新推荐文章于 2024-05-28 11:12:42 发布

2401_84181070

最新推荐文章于 2024-05-28 11:12:42 发布

阅读量782

点赞数 27

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84181070/article/details/138732971

版权

程序员专栏收录该内容

171 篇文章 1 订阅

订阅专栏

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

#订单详细表
CREATE TABLE orders_detail(
id INT AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
);

#订单状态字典表
CREATE TABLE dict_order_type(
id INT AUTO_INCREMENT,
order_type VARCHAR(200),
PRIMARY KEY(id)
);

 查看表信息，可以看到成功分库。


	* `Mycat`
	
	 
	```
	mysql> show tables;
	+------------------+
	| Tables_in_orders |
	+------------------+
	| customer         |
	| dict_order_type  |
	| orders           |
	| orders_detail    |
	+------------------+
	4 rows in set (0.01 sec)
	
	```
	* 数据节点`mysql-node1`
	
	 
	```
	mysql> use orders;
	Reading table information for completion of table and column names
	You can turn off this feature to get a quicker startup with -A
	
	Database changed
	mysql> show tables;
	+------------------+
	| Tables_in_orders |
	+------------------+
	| dict_order_type  |
	| orders           |
	| orders_detail    |
	+------------------+
	3 rows in set (0.00 sec)
	
	```
	* 数据节点`mysql-node2`
	
	 
	```
	mysql> use orders;
	Reading table information for completion of table and column names
	You can turn off this feature to get a quicker startup with -A
	
	Database changed
	mysql> show tables;
	+------------------+
	| Tables_in_orders |
	+------------------+
	| customer         |
	+------------------+
	1 row in set (0.00 sec)
	
	```


### 二、水平拆分-分表


相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中，如图：


![在这里插入图片描述](https://img-blog.csdnimg.cn/c579a9ec1f0647948327ee3c4719f2bd.jpeg#pic_center)


#### 2.1、实现分表


1. 选择要拆分的表

 `MySQL`单表存储数据条数是有瓶颈的，单表达到`1000`万条数据就达到了瓶颈，会影响查询效率， 需要进行水平拆分（分表）进行优化。

 例如：例子中的`orders`、`orders_detail`数据会很大，需要进行分表优化。
2. 分表字段

 以`orders`表为例，可以根据不同自字段进行分表



| 编号 | 分表字段 | 效果 |
| --- | --- | --- |
| 1 | id（主键、或创建时间） | 查询订单注重时效，历史订单被查询的次数少，如此分片会造成一个节点访问多，一个访问少，不平均。 |
| 2 | customer\_id（客户 id） | 根据客户 id 去分，两个节点访问平均，一个客户的所 有订单都在同一个节点 |
3. 修改配置文件`schema.xml`

 为`orders`表设置数据节点为`dn1`、`dn2`，并指定分片规则为`mod_rule`（自定义的名字）

 完整配置：

<?xml version="1.0"?>

<mycat:schema xmlns:mycat=“http://io.mycat/”>

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
         <table name="customer" dataNode="dn2" ></table>
         <table name="orders" dataNode="dn1,dn2" rule="mod\_rule" ></table>
    </schema>
    <dataNode name="dn1" dataHost="host1" database="orders" />
    <dataNode name="dn2" dataHost="host2" database="orders" />
    <dataHost name="host1" maxCon="1000" minCon="10" balance="0"

writeType=“0” dbType=“mysql” dbDriver=“native” switchType=“1” slaveThreshold=“100”>
select user()

select user()

</mycat:schema>

4. 修改配置文件`rule.xml`

 在`rule`配置文件里新增分片规则`mod_rule`，并指定规则适用字段为`customer_id`。

 还有选择分片算法`mod-long`（对字段求模运算），`customer_id`对两个节点求模，根据结果分片。

 配置算法`mod-long`参数`count`为`2`，两个节点：

customer_id mod-long

 `mod-long`规则为配置文件自带的，修改`count`属性。代表意思为，根据`count`数取模

5. 需单独在数据节点`mysql-node2`创建`orders`表

订单表

CREATE TABLE orders(
id INT AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id)
);

6. 重启`Mycat`，让配置生效

 在`Mycat`里向`orders`表插入数据，`INSERT`字段不能省略。`Mycat`需要根据字段进行分片操作。

INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);


	* `Mycat`
	
	 
	```
	mysql> select * from orders;
	+----+------------+-------------+-----------+
	| id | order_type | customer_id | amount    |
	+----+------------+-------------+-----------+
	|  1 |        101 |         100 | 100100.00 |
	|  2 |        101 |         100 | 100300.00 |
	|  6 |        102 |         100 | 100020.00 |
	|  3 |        101 |         101 | 120000.00 |
	|  4 |        101 |         101 | 103000.00 |
	|  5 |        102 |         101 | 100400.00 |
	+----+------------+-------------+-----------+
	6 rows in set (0.04 sec)
	
	```
	* 数据节点`mysql-node1`
	
	 
	```
	mysql> select * from orders;
	+----+------------+-------------+-----------+
	| id | order_type | customer_id | amount    |
	+----+------------+-------------+-----------+
	|  1 |        101 |         100 | 100100.00 |
	|  2 |        101 |         100 | 100300.00 |
	|  6 |        102 |         100 | 100020.00 |
	+----+------------+-------------+-----------+
	3 rows in set (0.00 sec)
	
	```
	* 数据节点`mysql-node2`
	
	 
	```
	mysql> select * from orders;
	+----+------------+-------------+-----------+
	| id | order_type | customer_id | amount    |
	+----+------------+-------------+-----------+
	|  3 |        101 |         101 | 120000.00 |
	|  4 |        101 |         101 | 103000.00 |
	|  5 |        102 |         101 | 100400.00 |
	+----+------------+-------------+-----------+
	3 rows in set (0.00 sec)
	
	```


#### 2.2、Mycat 的分片 join-ER 表


`orders`订单表已经进行分表操作了，和它关联的`orders_detail`订单详情表如何进行`join`查询。


我们要对`orders_detail`也要进行分片操作。`join`的原理如下图：


![在这里插入图片描述](https://img-blog.csdnimg.cn/2efa3a08d12c4f04a009d52cdbc7c55f.jpeg#pic_center)


##### 2.2.1、ER 表


`Mycat`借鉴了`NewSQL`领域的新秀`Foundation DB` 的设计思路，`Foundation DB` 创新性的提出了`Table Group`的概念，其将子表的存储位置依赖于主表，并且物理上紧邻存放，因此彻底解决了`JION` 的效率和性能问题，根据这一思路，提出了基于`E-R`关系的数据分片策略，子表的记录与所 关联的父表记录存放在同一个数据分片上。


* 修改配置文件`schema.xml`

* 需在数据节点`mysql-node2`创建`orders`表

#订单详细表
CREATE TABLE orders_detail(
id INT AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
);

* 重启`Mycat`

 在`Mycat`里向`orders_detail`表插入数据，`INSERT`字段不能省略。`Mycat`需要根据字段进行分片操作。

INSERT INTO orders_detail(id,detail,order_id) values(1,‘detail1’,1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,‘detail1’,2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,‘detail1’,3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,‘detail1’,4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,‘detail1’,5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,‘detail1’,6);

 运行两个表`join`语句


	+ `Mycat`
	
	 
	```
	mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
	+----+------------+-------------+-----------+---------+
	| id | order_type | customer_id | amount    | detail  |
	+----+------------+-------------+-----------+---------+
	|  1 |        101 |         100 | 100100.00 | detail1 |
	|  2 |        101 |         100 | 100300.00 | detail1 |
	|  6 |        102 |         100 | 100020.00 | detail1 |
	|  3 |        101 |         101 | 120000.00 | detail1 |
	|  4 |        101 |         101 | 103000.00 | detail1 |
	|  5 |        102 |         101 | 100400.00 | detail1 |
	+----+------------+-------------+-----------+---------+
	6 rows in set (0.03 sec)
	
	```
	+ `mysql-node1`
	
	 
	```
	mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
	+----+------------+-------------+-----------+---------+
	| id | order_type | customer_id | amount    | detail  |
	+----+------------+-------------+-----------+---------+
	|  1 |        101 |         100 | 100100.00 | detail1 |
	|  2 |        101 |         100 | 100300.00 | detail1 |
	|  6 |        102 |         100 | 100020.00 | detail1 |
	+----+------------+-------------+-----------+---------+
	3 rows in set (0.01 sec)
	
	```
	+ `mysql-node2`
	
	 
	```
	mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
	+----+------------+-------------+-----------+---------+
	| id | order_type | customer_id | amount    | detail  |
	+----+------------+-------------+-----------+---------+
	|  3 |        101 |         101 | 120000.00 | detail1 |
	|  4 |        101 |         101 | 103000.00 | detail1 |
	|  5 |        102 |         101 | 100400.00 | detail1 |
	+----+------------+-------------+-----------+---------+
	3 rows in set (0.00 sec)
	
	```


##### 2.2.2、全局表


在分片的情况下，当业务表因为规模而进行分片以后，业务表与这些附属的字典表之间的关联， 就成了比较棘手的问题，考虑到字典表具有以下几个特性：


* 变动不频繁
* 数据量总体变化不大
* 数据规模不大，很少有超过数十万条记录


鉴于此，`Mycat`定义了一种特殊的表，称之为“全局表”，全局表具有以下特性：


* 全局表的插入、更新操作会实时在所有节点上执行，保持各个分片的数据一致性
* 全局表的查询操作，只从一个节点获取
* 全局表可以跟任何一个表进行`JOIN`操作


将字典表或者符合字典表特性的一些表定义为全局表，则从另外一个方面，很好的解决了数据`JOIN`的难题。通过全局表+基于`E-R`关系的分片策略，`Mycat`可以满足 `80%`以上的企业应用开发


配置步骤：


* 修改配置文件`schema.xml`

* 需在数据节点`mysql-node2`创建`dict_order_type`表

#订单状态字典表
CREATE TABLE dict_order_type(
id INT AUTO_INCREMENT,
order_type VARCHAR(200),
PRIMARY KEY(id)
);

* 重启`Mycat`

 在`Mycat`里向`dict_order_type`表插入数据。

INSERT INTO dict_order_type(id,order_type) VALUES(101,‘type1’);
INSERT INTO dict_order_type(id,order_type) VALUES(102,‘type2’);


	1. + `Mycat`
		
		 
		```
		mysql> select * from dict_order_type;
		+-----+------------+
		| id  | order_type |
		+-----+------------+
		| 101 | type1      |
		| 102 | type2      |
		+-----+------------+
		2 rows in set (0.04 sec)
		
		```
		+ 数据节点`mysql-node1`
		
		 
		```
		mysql> select * from dict_order_type;
		+-----+------------+
		| id  | order_type |
		+-----+------------+
		| 101 | type1      |
		| 102 | type2      |
		+-----+------------+
		2 rows in set (0.00 sec)
		
		```
		+ 数据节点`mysql-node2`
		
		 
		```
		mysql> select * from dict_order_type;
		+-----+------------+
		| id  | order_type |
		+-----+------------+
		| 101 | type1      |
		| 102 | type2      |
		+-----+------------+
		2 rows in set (0.00 sec)
		
		```


### 三、常用分片规则


#### 3.1、取模


此规则为对分片字段求摸运算。也是水平分表最常用规则。配置分表中，`orders`表采用了此规则。


#### 3.2、分片枚举


通过在配置文件中配置可能的枚举`id`，自己配置分片，本规则适用于特定的场景，比如有些业务需要按照省份或区县来做保存，而全国省份区县固定的，这类业务使用本条规则。


配置步骤：


* 修改配置文件`schema.xml`

* 修改配置文件`rule.xml`

    <tableRule name="sharding\_by\_intfile">
            <rule>
                    <columns>areacode</columns>
                    <algorithm>hash-int</algorithm>
            </rule>
    </tableRule>


	+ `columns`：分片字段
	+ `algorithm`：分片函数

    <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
            <property name="mapFile">partition-hash-int.txt</property>
            <property name="type">1</property>
            <property name="defaultNode">0</property>
    </function>


	+ `mapFile`：标识配置文件名称
	+ `type`：0为int型、非0为`String`
	+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。
* 修改配置文件`partition-hash-int.txt`

110=0
120=1

* 重启`Mycat`

 在`Mycat`里创建表。

订单归属区域信息表

CREATE TABLE orders_ware_info
(
id INT AUTO_INCREMENT comment ‘编号’,
order_id INT comment ‘订单编号’,
address VARCHAR(200) comment ‘地址’,
areacode VARCHAR(20) comment ‘区域编号’,
PRIMARY KEY(id)
);

 插入数据

INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (1,1,‘北京’,‘110’);
INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (2,2,‘天津’,‘120’);


	+ `Mycat`
	
	 
	```
	mysql> select * from orders_ware_info;
	+----+----------+---------+----------+
	 | id | order_id | address | areacode |
	+----+----------+---------+----------+
	 |  1 |        1 | 北京    | 110      |
	|  2 |        2 | 天津    | 120      |
	+----+----------+---------+----------+
	2 rows in set (0.02 sec)
	
	```
	+ 数据节点`mysql-node1`
	
	 
	```
	mysql> select * from orders_ware_info;
	+----+----------+---------+----------+
	 | id | order_id | address | areacode |
	+----+----------+---------+----------+
	 |  1 |        1 | 北京    | 110      |
	+----+----------+---------+----------+
	1 row in set (0.00 sec)
	
	```
	+ 数据节点`mysql-node2`
	
	 
	```
	mysql> select * from orders_ware_info;
	+----+----------+---------+----------+
	| id | order_id | address | areacode |
	 +----+----------+---------+----------+
	|  2 |        2 | 天津    | 120      |
	+----+----------+---------+----------+
	1 row in set (0.00 sec)
	
	```


#### 3.3、 范围约定


此分片适用于提前规划好分片字段某个范围属于哪个分片。


配置步骤：


* 修改配置文件`schema.xml`

* 修改配置文件`rule.xml`

    <tableRule name="auto\_sharding\_long">
            <rule>
                    <columns>order_id</columns>
                    <algorithm>rang-long</algorithm>
            </rule>
    </tableRule>


	+ `columns`：分片字段
	+ `algorithm`：分片函数

    <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
            <property name="mapFile">autopartition-long.txt</property>
            <property name="defaultNode">0</property>
    </function>


	+ `mapFile`：标识配置文件名称
	+ `defaultNode`：默认节点。小于 0 表示不设置默认节点，大于等于 0 表示设置默认节点，设置默认节点如果碰到不识别的枚举值，就让它路由到默认节点，如不设置不识别就报错。
* 修改配置文件`autopartition-long.txt`

0-102=0
103-200=1

* 重启`Mycat`

 在`Mycat`里创建表。

支付信息表

CREATE TABLE payment_info
(
id INT AUTO_INCREMENT comment ‘编号’,
order_id INT comment ‘订单编号’,
payment_status INT comment ‘支付状态’,
PRIMARY KEY(id)
);

 插入数据

INSERT INTO payment_info (id,order_id,payment_status) VALUES (1,101,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (2,102,1);
INSERT INTO payment_info (id,order_id ,payment_status) VALUES (3,103,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (4,104,1);


	+ `Mycat`
	
	 
	```
	mysql> select * from payment_info;
	+----+----------+----------------+
	| id | order_id | payment_status |
	+----+----------+----------------+
	|  1 |      101 |              0 |
	|  2 |      102 |              1 |
	|  3 |      103 |              0 |
	|  4 |      104 |              1 |
	+----+----------+----------------+
	4 rows in set (0.02 sec)
	
	```
	+ 数据节点`mysql-node1`
	
	 
	```
	mysql> select * from payment_info;
	+----+----------+----------------+
	| id | order_id | payment_status |
	+----+----------+----------------+
	|  1 |      101 |              0 |
	|  2 |      102 |              1 |
	+----+----------+----------------+
	2 rows in set (0.00 sec)
	
	```
	+ 数据节点`mysql-node2`
	
	 
	```
	mysql> select * from payment_info;
	+----+----------+----------------+
	| id | order_id | payment_status |
	+----+----------+----------------+
	|  3 |      103 |              0 |
	|  4 |      104 |              1 |
	+----+----------+----------------+
	2 rows in set (0.00 sec)
	
	```


#### 3.4、 按日期（天）分片


此规则为按天分片。设定时间格式、范围。


配置步骤：


* 修改配置文件`schema.xml`

* 修改配置文件`rule.xml`

    <tableRule name="sharding\_by\_date">
            <rule>
                    <columns>login_date</columns>
                    <algorithm>shardingByDate</algorithm>
            </rule>
    </tableRule>


	+ `columns`：分片字段
	+ `algorithm`：分片函数

    <function name="shardingByDate" class="io.mycat.route.function.PartitionByDate">

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

修改配置文件rule.xml

        <tableRule name="sharding\_by\_date">
                <rule>
                        <columns>login_date</columns>
                        <algorithm>shardingByDate</algorithm>
                </rule>
        </tableRule>

+ `columns`：分片字段
+ `algorithm`：分片函数

        <function name="shardingByDate" class="io.mycat.route.function.PartitionByDate">


[外链图片转存中...(img-tWR4nUEF-1715439773397)]
[外链图片转存中...(img-gaV941Oy-1715439773398)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**