既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.110.146:3306" user="root"
password=“123456”>
select user()
</mycat:schema>
4. 修改配置文件`rule.xml`
在`rule`配置文件里新增分片规则`mod_rule`,并指定规则适用字段为`customer_id`。
还有选择分片算法`mod-long`(对字段求模运算),`customer_id`对两个节点求模,根据结果分片。
配置算法`mod-long`参数`count`为`2`,两个节点:
customer_id mod-long
`mod-long`规则为配置文件自带的,修改`count`属性。代表意思为,根据`count`数取模
2
5. 需单独在数据节点`mysql-node2`创建`orders`表
订单表
CREATE TABLE orders(
id INT AUTO_INCREMENT,
order_type INT,
customer_id INT,
amount DECIMAL(10,2),
PRIMARY KEY(id)
);
6. 重启`Mycat`,让配置生效
在`Mycat`里向`orders`表插入数据,`INSERT`字段不能省略。`Mycat`需要根据字段进行分片操作。
INSERT INTO orders(id,order_type,customer_id,amount) VALUES (1,101,100,100100);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(2,101,100,100300);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(3,101,101,120000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(4,101,101,103000);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(5,102,101,100400);
INSERT INTO orders(id,order_type,customer_id,amount) VALUES(6,102,100,100020);
* `Mycat`
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount |
+----+------------+-------------+-----------+
| 1 | 101 | 100 | 100100.00 |
| 2 | 101 | 100 | 100300.00 |
| 6 | 102 | 100 | 100020.00 |
| 3 | 101 | 101 | 120000.00 |
| 4 | 101 | 101 | 103000.00 |
| 5 | 102 | 101 | 100400.00 |
+----+------------+-------------+-----------+
6 rows in set (0.04 sec)
```
* 数据节点`mysql-node1`
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount |
+----+------------+-------------+-----------+
| 1 | 101 | 100 | 100100.00 |
| 2 | 101 | 100 | 100300.00 |
| 6 | 102 | 100 | 100020.00 |
+----+------------+-------------+-----------+
3 rows in set (0.00 sec)
```
* 数据节点`mysql-node2`
```
mysql> select * from orders;
+----+------------+-------------+-----------+
| id | order_type | customer_id | amount |
+----+------------+-------------+-----------+
| 3 | 101 | 101 | 120000.00 |
| 4 | 101 | 101 | 103000.00 |
| 5 | 102 | 101 | 100400.00 |
+----+------------+-------------+-----------+
3 rows in set (0.00 sec)
```
#### 2.2、Mycat 的分片 join-ER 表
`orders`订单表已经进行分表操作了,和它关联的`orders_detail`订单详情表如何进行`join`查询。
我们要对`orders_detail`也要进行分片操作。`join`的原理如下图:
![在这里插入图片描述](https://img-blog.csdnimg.cn/2efa3a08d12c4f04a009d52cdbc7c55f.jpeg#pic_center)
##### 2.2.1、ER 表
`Mycat`借鉴了`NewSQL`领域的新秀`Foundation DB` 的设计思路,`Foundation DB` 创新性的提出了`Table Group`的概念,其将子表的存储位置依赖于主表,并且物理上紧邻存放,因此彻底解决了`JION` 的效率和性能问题,根据这一思路,提出了基于`E-R`关系的数据分片策略,子表的记录与所 关联的父表记录存放在同一个数据分片上。
* 修改配置文件`schema.xml`
* 需在数据节点`mysql-node2`创建`orders`表
#订单详细表
CREATE TABLE orders_detail(
id INT AUTO_INCREMENT,
detail VARCHAR(2000),
order_id INT,
PRIMARY KEY(id)
);
* 重启`Mycat`
在`Mycat`里向`orders_detail`表插入数据,`INSERT`字段不能省略。`Mycat`需要根据字段进行分片操作。
INSERT INTO orders_detail(id,detail,order_id) values(1,‘detail1’,1);
INSERT INTO orders_detail(id,detail,order_id) VALUES(2,‘detail1’,2);
INSERT INTO orders_detail(id,detail,order_id) VALUES(3,‘detail1’,3);
INSERT INTO orders_detail(id,detail,order_id) VALUES(4,‘detail1’,4);
INSERT INTO orders_detail(id,detail,order_id) VALUES(5,‘detail1’,5);
INSERT INTO orders_detail(id,detail,order_id) VALUES(6,‘detail1’,6);
运行两个表`join`语句
+ `Mycat`
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount | detail |
+----+------------+-------------+-----------+---------+
| 1 | 101 | 100 | 100100.00 | detail1 |
| 2 | 101 | 100 | 100300.00 | detail1 |
| 6 | 102 | 100 | 100020.00 | detail1 |
| 3 | 101 | 101 | 120000.00 | detail1 |
| 4 | 101 | 101 | 103000.00 | detail1 |
| 5 | 102 | 101 | 100400.00 | detail1 |
+----+------------+-------------+-----------+---------+
6 rows in set (0.03 sec)
```
+ `mysql-node1`
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount | detail |
+----+------------+-------------+-----------+---------+
| 1 | 101 | 100 | 100100.00 | detail1 |
| 2 | 101 | 100 | 100300.00 | detail1 |
| 6 | 102 | 100 | 100020.00 | detail1 |
+----+------------+-------------+-----------+---------+
3 rows in set (0.01 sec)
```
+ `mysql-node2`
```
mysql> select o.*,od.detail from orders o inner join orders_detail od on o.id=od.order_id;
+----+------------+-------------+-----------+---------+
| id | order_type | customer_id | amount | detail |
+----+------------+-------------+-----------+---------+
| 3 | 101 | 101 | 120000.00 | detail1 |
| 4 | 101 | 101 | 103000.00 | detail1 |
| 5 | 102 | 101 | 100400.00 | detail1 |
+----+------------+-------------+-----------+---------+
3 rows in set (0.00 sec)
```
##### 2.2.2、全局表
在分片的情况下,当业务表因为规模而进行分片以后,业务表与这些附属的字典表之间的关联, 就成了比较棘手的问题,考虑到字典表具有以下几个特性:
* 变动不频繁
* 数据量总体变化不大
* 数据规模不大,很少有超过数十万条记录
鉴于此,`Mycat`定义了一种特殊的表,称之为“全局表”,全局表具有以下特性:
* 全局表的插入、更新操作会实时在所有节点上执行,保持各个分片的数据一致性
* 全局表的查询操作,只从一个节点获取
* 全局表可以跟任何一个表进行`JOIN`操作
将字典表或者符合字典表特性的一些表定义为全局表,则从另外一个方面,很好的解决了数据`JOIN`的难题。通过全局表+基于`E-R`关系的分片策略,`Mycat`可以满足 `80%`以上的企业应用开发
配置步骤:
* 修改配置文件`schema.xml`
* 需在数据节点`mysql-node2`创建`dict_order_type`表
#订单状态字典表
CREATE TABLE dict_order_type(
id INT AUTO_INCREMENT,
order_type VARCHAR(200),
PRIMARY KEY(id)
);
* 重启`Mycat`
在`Mycat`里向`dict_order_type`表插入数据。
INSERT INTO dict_order_type(id,order_type) VALUES(101,‘type1’);
INSERT INTO dict_order_type(id,order_type) VALUES(102,‘type2’);
1. + `Mycat`
```
mysql> select * from dict_order_type;
+-----+------------+
| id | order_type |
+-----+------------+
| 101 | type1 |
| 102 | type2 |
+-----+------------+
2 rows in set (0.04 sec)
```
+ 数据节点`mysql-node1`
```
mysql> select * from dict_order_type;
+-----+------------+
| id | order_type |
+-----+------------+
| 101 | type1 |
| 102 | type2 |
+-----+------------+
2 rows in set (0.00 sec)
```
+ 数据节点`mysql-node2`
```
mysql> select * from dict_order_type;
+-----+------------+
| id | order_type |
+-----+------------+
| 101 | type1 |
| 102 | type2 |
+-----+------------+
2 rows in set (0.00 sec)
```
### 三、常用分片规则
#### 3.1、取模
此规则为对分片字段求摸运算。也是水平分表最常用规则。配置分表中,`orders`表采用了此规则。
#### 3.2、分片枚举
通过在配置文件中配置可能的枚举`id`,自己配置分片,本规则适用于特定的场景,比如有些业务需要按照省份或区县来做保存,而全国省份区县固定的,这类业务使用本条规则。
配置步骤:
* 修改配置文件`schema.xml`
* 修改配置文件`rule.xml`
<tableRule name="sharding\_by\_intfile">
<rule>
<columns>areacode</columns>
<algorithm>hash-int</algorithm>
</rule>
</tableRule>
+ `columns`:分片字段
+ `algorithm`:分片函数
<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
<property name="type">1</property>
<property name="defaultNode">0</property>
</function>
+ `mapFile`:标识配置文件名称
+ `type`:0为int型、非0为`String`
+ `defaultNode`:默认节点。小于 0 表示不设置默认节点,大于等于 0 表示设置默认节点,设置默认节点如果碰到不识别的枚举值,就让它路由到默认节点,如不设置不识别就报错。
* 修改配置文件`partition-hash-int.txt`
110=0
120=1
* 重启`Mycat`
在`Mycat`里创建表。
订单归属区域信息表
CREATE TABLE orders_ware_info
(
id
INT AUTO_INCREMENT comment ‘编号’,
order_id
INT comment ‘订单编号’,
address
VARCHAR(200) comment ‘地址’,
areacode
VARCHAR(20) comment ‘区域编号’,
PRIMARY KEY(id)
);
插入数据
INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (1,1,‘北京’,‘110’);
INSERT INTO orders_ware_info(id, order_id,address,areacode) VALUES (2,2,‘天津’,‘120’);
+ `Mycat`
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
| id | order_id | address | areacode |
+----+----------+---------+----------+
| 1 | 1 | 北京 | 110 |
| 2 | 2 | 天津 | 120 |
+----+----------+---------+----------+
2 rows in set (0.02 sec)
```
+ 数据节点`mysql-node1`
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
| id | order_id | address | areacode |
+----+----------+---------+----------+
| 1 | 1 | 北京 | 110 |
+----+----------+---------+----------+
1 row in set (0.00 sec)
```
+ 数据节点`mysql-node2`
```
mysql> select * from orders_ware_info;
+----+----------+---------+----------+
| id | order_id | address | areacode |
+----+----------+---------+----------+
| 2 | 2 | 天津 | 120 |
+----+----------+---------+----------+
1 row in set (0.00 sec)
```
#### 3.3、 范围约定
此分片适用于提前规划好分片字段某个范围属于哪个分片。
配置步骤:
* 修改配置文件`schema.xml`
* 修改配置文件`rule.xml`
<tableRule name="auto\_sharding\_long">
<rule>
<columns>order_id</columns>
<algorithm>rang-long</algorithm>
</rule>
</tableRule>
+ `columns`:分片字段
+ `algorithm`:分片函数
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
<property name="defaultNode">0</property>
</function>
+ `mapFile`:标识配置文件名称
+ `defaultNode`:默认节点。小于 0 表示不设置默认节点,大于等于 0 表示设置默认节点,设置默认节点如果碰到不识别的枚举值,就让它路由到默认节点,如不设置不识别就报错。
* 修改配置文件`autopartition-long.txt`
0-102=0
103-200=1
* 重启`Mycat`
在`Mycat`里创建表。
支付信息表
CREATE TABLE payment_info
(
id
INT AUTO_INCREMENT comment ‘编号’,
order_id
INT comment ‘订单编号’,
payment_status
INT comment ‘支付状态’,
PRIMARY KEY(id)
);
插入数据
INSERT INTO payment_info (id,order_id,payment_status) VALUES (1,101,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (2,102,1);
INSERT INTO payment_info (id,order_id ,payment_status) VALUES (3,103,0);
INSERT INTO payment_info (id,order_id,payment_status) VALUES (4,104,1);
+ `Mycat`
```
mysql> select * from payment_info;
+----+----------+----------------+
| id | order_id | payment_status |
+----+----------+----------------+
| 1 | 101 | 0 |
| 2 | 102 | 1 |
| 3 | 103 | 0 |
| 4 | 104 | 1 |
+----+----------+----------------+
4 rows in set (0.02 sec)
```
+ 数据节点`mysql-node1`
```
mysql> select * from payment_info;
+----+----------+----------------+
| id | order_id | payment_status |
+----+----------+----------------+
| 1 | 101 | 0 |
| 2 | 102 | 1 |
+----+----------+----------------+
2 rows in set (0.00 sec)
```
+ 数据节点`mysql-node2`
```
mysql> select * from payment_info;
+----+----------+----------------+
| id | order_id | payment_status |
+----+----------+----------------+
| 3 | 103 | 0 |
| 4 | 104 | 1 |
+----+----------+----------------+
2 rows in set (0.00 sec)
```
#### 3.4、 按日期(天)分片
此规则为按天分片。设定时间格式、范围。
配置步骤:
* 修改配置文件`schema.xml`
* 修改配置文件`rule.xml`
<tableRule name="sharding\_by\_date">
<rule>
<columns>login_date</columns>
<algorithm>shardingByDate</algorithm>
</rule>
</tableRule>
+ `columns`:分片字段
+ `algorithm`:分片函数
<function name="shardingByDate" class="io.mycat.route.function.PartitionByDate">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2019-01-01</property>
<property name="sEndDate">2019-01-04</property>
<property name="sPartionDay">2</property>
</function>
+ `dateFormat` :日期格式
+ `sBeginDate` :开始日期
+ `sEndDate`:结束日期,则代表数据达到了这个日期的分片后循环从开始分片插入
+ `sPartionDay` :分区天数,即默认从开始日期算起,分隔`2`天一个分区
* 重启`Mycat`
在`Mycat`里创建表。
登录信息
CREATE TABLE login_info
(
id
INT AUTO_INCREMENT comment ‘编号’,
user_id
INT comment ‘用户编号’,
login_date
date comment ‘登录日期’,
PRIMARY KEY(id)
);
插入数据
INSERT INTO login_info(id,user_id,login_date) VALUES (1,101,‘2019-01-01’);
INSERT INTO login_info(id,user_id,login_date) VALUES (2,102,‘2019-01-02’);
INSERT INTO login_info(id,user_id,login_date) VALUES (3,103,‘2019-01-03’);
INSERT INTO login_info(id,user_id,login_date) VALUES (4,104,‘2019-01-04’);
INSERT INTO login_info(id,user_id,login_date) VALUES (5,103,‘2019-01-05’);
INSERT INTO login_info(id,user_id,login_date) VALUES (6,104,‘2019-01-06’);
+ `Mycat`
```
mysql> select * from login_info;
+----+---------+------------+
| id | user_id | login_date |
+----+---------+------------+
| 1 | 101 | 2019-01-01 |
| 2 | 102 | 2019-01-02 |
| 5 | 103 | 2019-01-05 |
| 6 | 104 | 2019-01-06 |
| 3 | 103 | 2019-01-03 |
| 4 | 104 | 2019-01-04 |
+----+---------+------------+
6 rows in set (0.02 sec)
```
+ 数据节点`mysql-node1`
```
mysql> select * from login_info;
+----+---------+------------+
| id | user_id | login_date |
+----+---------+------------+
| 1 | 101 | 2019-01-01 |
| 2 | 102 | 2019-01-02 |
| 5 | 103 | 2019-01-05 |
| 6 | 104 | 2019-01-06 |
+----+---------+------------+
4 rows in set (0.00 sec)
```
+ 数据节点`mysql-node2`
```
mysql> select * from login_info;
+----+---------+------------+
| id | user_id | login_date |
+----+---------+------------+
| 3 | 103 | 2019-01-03 |
| 4 | 104 | 2019-01-04 |
+----+---------+------------+
2 rows in set (0.00 sec)
```
### 四、 全局序列
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,`Mycat`提供了全局`sequence`,并且提供了包含本地配置和数据库配置等多种实现方式
#### 4.1、本地文件
此方式`Mycat` 将`sequence`配置到文件中,当使用到`sequence`中的配置后,`Mycat`会更新`classpath`中的 `sequence_conf.properties`文件中`sequence`当前的值。
* 优点:本地加载,读取速度较快
* 缺点:抗风险能力差,`Mycat`所在主机宕机后,无法读取本地文件。
#### 4.2、数据库方式
利用数据库一个表 来进行计数累加。但是并不是每次生成序列都读写数据库,这样效率太低。 `Mycat`会预加载一部分号段到`Mycat`的内存中,这样大部分读写序列都是在内存中完成的。 如果内存中的号段用完了`Mycat`会再向数据库要一次。
如果`Mycat`崩溃了 ,内存中的序列都没有了。`Mycat`启动后会向数据库申请新的号段,原有号段会弃用。也就是说如果`Mycat`重启,那么损失是当前的号段没用完的号码,但是不会因此出现主键重复
* 在 `mysql-node1`上创建全局序列表
建库序列脚本
CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;
创建全局序列所需函数
DELIMITER $$
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
如果Mycat
崩溃了 ,内存中的序列都没有了。Mycat
启动后会向数据库申请新的号段,原有号段会弃用。也就是说如果Mycat
重启,那么损失是当前的号段没用完的号码,但是不会因此出现主键重复
- 在
mysql-node1
上创建全局序列表
建库序列脚本
CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;
# 创建全局序列所需函数
DELIMITER $$
CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC
[外链图片转存中...(img-bLmqdDRp-1714879446780)]
[外链图片转存中...(img-AQbn7er3-1714879446780)]
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**