Redis整合MySQL和MyCAT分库组件(来源是我的新书)

12 </mycat:server>

在第5行和第6行里,分别配置了该MyCAT组件的工作端口和管理端口为8066和9066,在第8行到第11行的代码里,配置了连接该MyCAT组件的用户名是root,连接密码是123456,同时,该root登录后,可以访问MyCAT组件里的redisDemo数据库。

请注意这里redisDemo是MyCAT组件的数据库,而不是MySQL里的,在实践过程中,这个数据库一般和MySQL里的同名。

第二,schema.xml配置文件的代码如下所示。

1 <?xml version="1.0"?>

2

3 <mycat:schema xmlns:mycat=“http://io.mycat/”>

4

5

6

7

8

9

10

11 select user()

12

13

14

15 select user()

16

17

18

19 select user()

20

21

22 </mycat:schema>

在第4行到第6行里,定义了redisDemo数据库里的student表,将按照mod-long规则,分布到dn1,dn2,dn3这三个数据库节点上。随后在第7行到第9行的代码里,给出了dn1,dn2,dn3这三个节点的定义,它们分别指向host1,host2和host3的redisDemo数据库。

在第10行到第21行的代码里,给出了针对host1到host3的定义,它们的配置很相似,这里就以第10行到第13行的host1配置来说明。

在第10里,首先通过dbType参数,定义了host1是mysql类型的数据库,随后通过maxCon和minCon参数指定了该host数据库的最大和最小连接数,通过balance和writeType参数,指定了向host1读写的请求,其实是发送到第12行定义的,url是172.17.0.2:3306的mysql数据库,同时在第12行里,还指定了连到172.17.0.2:3306的mysql数据库的用户名和密码。在第11行定义的heartbeat参数,则定义了MyCAT组件用select user()这句sql语句来判断host1这个数据库能否处于“连接”状态。也就是说,在第5行定义的dn1节点,最终是指向172.17.0.2:3306所在的MySQL数据库的stduent表。

类似的在第14行到第21行针对host2和host3的定义里,分别也定义里这两个数据库的具体url地址。也就是说,定义在第4行的redisDemo数据库里的student表,根据dataNode的定义,最终会分散到172.17.0.2:3306、172.17.0.3:3306和172.17.0.4:3306这三个redisDemo数据库里的stduent表里。

通过下图,大家能更清晰地看到通过配置文件里相关参数定义的分库关系。

在本范例中,是用Docker容器在同一台主机里创建三个MySQL实例,所以172.17.0.2:3306、172.17.0.3:3306和172.17.0.4:3306是本机三个Docker容器的地址。如果在项目里,是在多台主机上部署MySQL服务器,那么对应的地址就应该修改成这些主机的IP地址。

第三,rule.xml配置文件的代码如下所示。

1 <?xml version="1.0" encoding="UTF-8"?>

2

3 <mycat:rule xmlns:mycat=“http://io.mycat/”>

4

5

6 id

7 mod-long

8

9

10

11

12 3

13

14 </mycat:rule>

在第4行里定义了mod-long这个规则,该规则在schema.xml第5行里被用到,再结合第11行到第13行的代码,能看到利用该规则对student表分库时,将先对id进行模3处理,然后再根据取模后的结果,到host1到host3所在的数据表的student库里进行处理。这里取模的数值3,是需要和MySQL主机的数量相同。

上述三个配置文件综合起来,给出了如下针对分库分表相关动作的定义。

  1. 应用程序如果如果要使用MyCAT,需要用root用户名外带123456密码连接到该MyCAT组件。

  2. 比如要插入id为1的stduent数据,根据在schema.xml里的定义,会先根据mod-long规则,对id进行模3处理,结果是1,所以会插入到host2所定义的172.17.0.3:3306数据库的student表里,如果要进行读取、删除和更新操作,也会先对id模3,然后再把该请求发送到对应的数据库里。

这里仅给出了MyCAT分库的一种比较常用的规则(即取模),也只是把stduent表分散到3个物理数据表里,事实上通过编写配置,可以用其它算法,让MyCAT组件把数据表分散到更多的子表里。

3 Java、MySQL与MyCAT的整合范例

=======================

这里将以“一个MyCAT组件连接三个MySQL数据库,对student表进行分库”的需求为例,结合上文给出的MyCAT三个配置文件,给出基于Docker容器设置MyCAT分库分表的详细步骤,并在此基础上,给出Java应用程序连接MyCAT以实现分库分表的代码范例。

步骤一,先通过如下3个Docker命令,准备3个包含MySQL的Docker容器。

1 docker run -itd -p 3306:3306 --name mysqlHost1 -e MYSQL_ROOT_PASSWORD=123456 mysql:latest

2 docker run -itd -p 3316:3306 --name mysqlHost2 -e MYSQL_ROOT_PASSWORD=123456 mysql:latest

3 docker run -itd -p 3326:3306 --name mysqlHost3 -e MYSQL_ROOT_PASSWORD=123456 mysql:latest

这里创建的三个MySQL的docker容器分别叫mysqlHost1、mysqlHost2和mysqlHost3,在容器里它们都工作在3306端口,但它们分别映射到主机的3306、3316和3326端口。并且,通过-e参数,分别指定了这三个数据库root用户名的密码是123456。

创建完成后,再分别通过如下的命令,观察它们所在docker容器的ip地址。

1 docker inspect mysqlHost1

2 docker inspect mysqlHost2

3 docker inspect mysqlHost3

观察到的IP地址如下表所示,大家在自己电脑上操作时,如果看到的是其它的IP地址,就需要更改下文步骤里的相关配置项。

步骤二,通过docker exec -it mysqlHost1 /bin/bash命令进入到mysqlHost1容器,随后再用mysql -u root -p命令进入到mysql数据库,进入时需要输入的密码是123456,随后运行如下的命令创建redisDemo数据库和student表。

1 create database redisDemo;

2 use redisDemo;

3 create table student( id int not null primary key,name char(20),age int,score float);

其中第1行语句是用于建库,第2行语句是进入redisDemo库,第3行语句是用于建表。

完成后,通过docker exec -it mysqlHost2 /bin/bash和docker exec -it mysqlHost3 /bin/bash这两条命令进入到另外两个MySQL容器里,也通过mysql命令进入到数据库,也再通过上述语句进行创建数据库和数据表的动作。至      此完成了针对三个MySQL数据库的创建动作。

步骤三,通过docker pull命令下载mycat组件的镜像,如果无法下载,则可以通过docker search mycat命令寻找可用的镜像并下载。

步骤四,新建C:\work\mycat\conf目录,在其中放入在10.2.2部分里给出的针对MyCAT组件的server.xml、rule.xml和schema.xml这三个配置文件。

其中在schema.xml里,针对数据库url的定义如下第3行、第7行和第11所示。请注意它们指向的是具体Docker容器里的MySQL的IP地址,它们的值需要和表10.3里给出的值一致。如果大家用docker inspect命令观察到三个Docker的地址有变,就需要对应第修改schema.xml里的url值。

1

2 select user()

3

4

5

6 select user()

7

8

9

10 select user()

11

12

步骤五,再确保上述三个Docker里包含的My SQL都处于可用状态后,通过如下的Docker命令启动MyCAT对应的docker容器。

1 docker run --name mycat -p 8066:8066 -p 9066:9066 -v C:\work\mycat\conf\server.xml:/opt/mycat/conf/server.xml:ro -v C:\work\mycat\conf\schema.xml:/opt/mycat/conf/schema.xml:ro -v C:\work\mycat\conf\rule.xml:/opt/mycat/conf/rule.xml:ro -d mycat:latest

请注意该docker命令的如下要点。

1 通过-p参数,把该MyCAT组件的工作端口8066和管理端口9066映射到主机里的同名端口。

2 通过三个-v参数,把容器外C:\work\mycat\conf\目录里的三个MyCAT配置文件映射到容器内的/opt/mycat/conf/目录里,这样启动时,就能读到这三个配置文件。这样做的前提是,事先已经确认过容器内的server.xml等三个配置文件存在于/opt/mycat/conf/目录里,如果有些mycat镜像里的这三个配置文件不存在于这个目录,则可以先用docker exec -it mycat /bin/bash命令进入该mycat容器,找到这三个配置文件对应的位置后,再改写上述启动mycat容器的docker run命令。

3 通过mycat:latest参数指定该容器是基于mycat:latest镜像生成的。

运行完上述docker run命令后,可以通过docker logs mycat命令观察包含在该容器内的MyCAT组件的启动日志。如果成功启动,就能看到日志里有如下图10.12所示的提示成功的信息。如果有错误,那么或者去检查三个MySQL数据库的连接状态,或者根据日志里给出的错误提示来排查问题。

至此完成了MyCAT组件和三个MySQL数据库的相关配置,在如下的MyCATSimpleDemo范例中,将给出Java程序通过MyCAT组件向MySQL数据库插入数据的做法,从中大家能感受到分库分表的效果。

1 import java.sql.*;

2 public class MyCATSimpleDemo {

3 public static void main(String[] args){

4 //定义连接对象和PreparedStatement对象

5 Connection myCATConn = null;

6 PreparedStatement ps = null;

7 //定义连接信息

8 String mySQLDriver = “com.mysql.jdbc.Driver”;

9 String myCATUrl = “jdbc:mysql://localhost:8066/redisDemo”;

10 String user = “root”;

11 String pwd = “123456”;

12 try{

13 Class.forName(mySQLDriver);

14 myCATConn = DriverManager.getConnection(myCATUrl, user, pwd);

15 ps = myCATConn.prepareStatement(“insert into student (id,name,age,score) values (?,‘test’,18,100)”);

16 ps.setString(1,“11”);

17 ps.addBatch();

18 ps.setString(1,“12”);

19 ps.addBatch();

20 ps.setString(1,“13”);

21 ps.addBatch();

22 ps.executeBatch();

23 } catch (SQLException se) {

24 se.printStackTrace();

25 } catch (Exception e) {

26 e.printStackTrace();

27 }

28 finally{

29 //如果有必要,释放资源

30 if(ps != null){

31 try {

32 ps.close();

33 } catch (SQLException e) {

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新

如果你觉得这些内容对你有帮助,可以添加V获取:vip1024b (备注Java)
img

最后

我还通过一些渠道整理了一些大厂真实面试主要有:蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初,中级,高级Java面试题集合,附带超详细答案,希望能帮助到大家。

新鲜出炉的蚂蚁金服面经,熬夜整理出来的答案,已有千人收藏

还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。

新鲜出炉的蚂蚁金服面经,熬夜整理出来的答案,已有千人收藏

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
img

度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初,中级,高级Java面试题集合,附带超详细答案,希望能帮助到大家。**

[外链图片转存中…(img-1DskMtbX-1712866073629)]

还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。

[外链图片转存中…(img-5j9nmLJ5-1712866073629)]

一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎扫码加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
[外链图片转存中…(img-IhYtMMg9-1712866073629)]

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值