该标签在mycat逻辑库中作为底层标签存在,直接定义了具体的数据库实例,读写分离,心跳语句。
核心属性:
- name:唯一标识,供上层标签使用
- maxCon/minCon:最大连接数/最小连接数
- balance:负载均衡策略,取值0,1,2,3
- writetype:写操作分发方式(0:写操作转发到第一个writehost,第一个挂了就切换到第二个;1:写操作随机分发到配置的writehost上)
- dbdriver:数据库驱动,支持native,jdbc
2.rule.xml
rule.xml中定义所有拆分表的规则,在使用过程中可以灵活的使用分片算法,或者对同一个分片算法使用不同的参数,它让分片过程可配置化。主要包含两类标签:tableTule,Function。
3.server.xml
server.xml配置文件包含了mycat的系统配置信息,主要有两个重要的标签:system,user、
1.system标签
对应的系统配置项及其含义,参考资料
2.user标签
priviege权限设置字段:
dml='0000'=增 改 查 删
0为关闭,1为开启
5.mycat分片
1.垂直分表
场景:
在业务系统中,涉及以下表结构,但是由于用户与订单每天都会产生大量的数据,单台服务器的数据存储及处理能力是有限的,可以对数据库进行拆分,原有的数据库表如下。
流程:
- 分别在三台MySQL中创建数据库(shopping)
- 修改schema.xml
- 修改server.xml
- 测试:创建表,插入数据
schema.xml内容:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<schema name="SHOPPING" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb\_goods\_base" dataNode="dn1" primaryKey="id"/>
<table name="tb\_goods\_brand" dataNode="dn1" primaryKey="id"/>
<table name="tb\_goods\_cat" dataNode="dn1" primaryKey="id"/>
<table name="tb\_goods\_desc" dataNode="dn1" primaryKey="goods\_id"/>
<table name="tb\_goods\_item" dataNode="dn1" primaryKey="id"/>
<table name="tb\_order\_item" dataNode="dn1,dn2,dn3" primaryKey="id" type="global"/>
<table name="tb\_order\_master" dataNode="dn1,dn2,dn3" primaryKey="order\_id" type="global"/>
<table name="tb\_order\_pay\_log" dataNode="dn2" primaryKey="out\_trade\_no"/>
<table name="tb\_user" dataNode="dn3" primaryKey="id"/>
<table name="tb\_user\_address" dataNode="dn3" primaryKey="id"/>
<table name="tb\_areas\_provinces" dataNode="dn3" primaryKey="id"/>
<table name="tb\_areas\_city" dataNode="dn3" primaryKey="id"/>
<table name="tb\_areas\_region" dataNode="dn3" primaryKey="id"/>
</schema>
<dataNode name="dn1" dataHost="dhost1" database="shopping" />
<dataNode name="dn2" dataHost="dhost2" database="shopping" />
<dataNode name="dn3" dataHost="dhost3" database="shopping" />
<dataHost name="dhost1" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.1:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
<dataHost name="dhost2" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.2:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
<dataHost name="dhost3" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="jdbc" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<writeHost host="master" url="jdbc:mysql://192.168.2.3:3306?useSSL=false&serverTimezone=Asia/Shanghai&characterEncoding=utf8" user="root" password="1234.Com" />
</dataHost>
</mycat:schema>
server.xml内容
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">SHOPPING</property>
</user>
2.水平分表
在业务系统中,有一张(日志表),业务系统每天都会产生大量的日志数据,单台服务器的数据存储及处理能力是有限的,可以对数据库表进行拆分。
对tb_log表进行拆分
1.schema.xml配置
<schema name="ITCAST" checkSQLschema="true" sqlMaxLimit="100">
<table name="tb\_log" dataNode="dn4,dn5,dn6" primaryKey="id" rule="mod-long"/>
</schema>
<dataNode name="dn4" dataHost="dhost1" database="itcast" />
<dataNode name="dn5" dataHost="dhost2" database="itcast" />
<dataNode name="dn6" dataHost="dhost3" database="itcast" />
2.server.xml的配置
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">SHOPPING,ITCAST</property>
</user>
6.分片规则
1.范围分片
根据指定的字段及其配置的范围与数据节点的对应情况,来决定该数据属于哪一个分片
自定义分片范围
2.取模分片
根据指定的字段值与节点数量进行求模运算,根据运算结构,来决定该数据属于哪个分片。
取模分片配置
3.一致性hash
所谓一致性哈希,相同的哈希因子计算值总是被划分到相同的分区表中,不会因为分区节点的增加而改变原来的数据的分区位置。
一致性hash配置
通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点上,本规则适用于按照省份,性别,状态拆分数据等业务。
枚举分片配置
5.应用指定算法
运行阶段由应用自主决定路由到那个分片,直接根据字符字串(必须是数字)计算分片
应用指定算法配置
6.固定hash算法
该算法类似于十进制的求模运算,但是为二进制操作,例如,取id的二进制低10位与11111111111进行位&运算。
固定hash算法配置
7.字符串hash解析
截取字符串中的指定位置的子字符串,进行hash算法,算出存储分片位置。
8.按天分片
按天来进行分片
9.按自然月分片
使用场景为按照月份来分片,每个自然月为一个分片
7.mycat管理与监控
1.mycat原理
2.mycat管理
mycat默认开通2个端口,可以在server.xml中进行修改
- 8066数据访问端口,即进行DML和DDL操作
- 9066数据库管理端口,即mycat服务管理控制功能,用于管理mycat的整个集群状态
mysql -h 192.168.2.1 -P 9066 -uroot -p123455
常用命令:
命令 | 含义 |
---|---|
show @@help | 查看mycat管理工具帮助文档 |
show @@version | 查看mycat的版本 |
reload @@config | 重载加载mycat的配置文件 |
show @@datasource | 查看mycat的数据源信息 |
show @@datanode | 查看mycat现有的分片系节点信息 |
show @@threadpool | 查看mycat的线程池信息 |
show @@sql | 查看执行的SQL |
show @@sql.sum | 查看执行的SQL统计 |
8.mycat-eye
1.介绍
mycat-web(mycat-eye)是对mycat-server提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接mycat,mysql监控,监控远程服务器(目前仅限于Linux系统)的cpu,内存,网络,磁盘。
mycat-eye运行过程中需要zookeeper,因此需要先安装zookeeper。
- zookeeper安装
- mycat-web安装
- web访问http://192.168.2.1:8082/mycat
2.添加设备测试即可
9.总结
1.分库分表介绍
核心:将单台数据库服务器器的数据分散(垂直拆分,水平拆分)存储在多台数据库中
2.mycat概述
mycat是一个开源的分库分表的中间件
3.mycat入门
入门程序
4.mycat配置
schema.xml,rule.xml,server.xml
5.mycat分片
分片规则:范围,取模,枚举,一致性hash,固定分片hash算法,字符串hash解析算法,按天分片,按自然月分片
6.mycat管理及监控
提供监控服务,功能不局限于对mycat-server使用。他通过JDBC连接mycat,mysql监控,监控远程服务器(目前仅限于Linux系统)的cpu,内存,网络,磁盘。
mycat-eye运行过程中需要zookeeper,因此需要先安装zookeeper。
- zookeeper安装
- mycat-web安装
- web访问http://192.168.2.1:8082/mycat
2.添加设备测试即可
9.总结
1.分库分表介绍
核心:将单台数据库服务器器的数据分散(垂直拆分,水平拆分)存储在多台数据库中
2.mycat概述
mycat是一个开源的分库分表的中间件
3.mycat入门
入门程序
4.mycat配置
schema.xml,rule.xml,server.xml
5.mycat分片
分片规则:范围,取模,枚举,一致性hash,固定分片hash算法,字符串hash解析算法,按天分片,按自然月分片
6.mycat管理及监控
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
核心:将单台数据库服务器器的数据分散(垂直拆分,水平拆分)存储在多台数据库中
2.mycat概述
mycat是一个开源的分库分表的中间件
3.mycat入门
入门程序
4.mycat配置
schema.xml,rule.xml,server.xml
5.mycat分片
分片规则:范围,取模,枚举,一致性hash,固定分片hash算法,字符串hash解析算法,按天分片,按自然月分片
6.mycat管理及监控
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
[外链图片转存中…(img-lS1ce9Nv-1725866048760)]
[外链图片转存中…(img-WN6fFjpu-1725866048761)]
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新