MySQL—主从复制，读写分离和mycat

最新推荐文章于 2022-11-29 15:20:48 发布
最新推荐文章于 2022-11-29 15:20:48 发布
阅读量225 收藏
点赞数
分类专栏： java 文章标签： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bug_no0/article/details/116766882
版权
本文详细介绍了MySQL的主从复制配置，包括安装、配置、权限设置以及主从关系验证。同时，讲解了MyCat的原理、分库分表和读写分离，提供MyCat的安装步骤，并展示了如何配置schema.xml、server.xml和rule.xml以实现分片和读写分离。最后，通过实际操作验证了分库分表的效果。
摘要由CSDN通过智能技术生成
  • MySql主从复制
  • MyCat读写分离
  • MyCat分库分表

1.MySql主从复制

1.1.安装mysql

1.1.1.下载

下载地址：https://dev.mysql.com/downloads/mysql/

1.1.2.卸载预装mysql

#查看已安装：
[root@centos upload]# rpm -qa|grep mysql
#卸载：
[root@centos upload]# rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
#再次查看：
[root@centos upload]# rpm -qa|grep mysql

1.1.3.上传安装包

在这里插入图片描述

1.1.4.解压安装包

[root@centos upload]# tar -zxvf mysql-5.6.31-linux-glibc2.5-x86_64.tar.gz -C /usr/java
[root@centos upload]# cd /usr/java
[root@centos java]# mv mysql-5.6.31-linux-glibc2.5-x86_64 mysql

1.1.5.复制mysql的配置文件

[root@centos java]# cd mysql
[root@centos mysql]# cp support-files/my-default.cnf /etc/my.cnf
[root@centos mysql]# cp support-files/mysql.server /etc/rc.d/init.d/mysql

1.1.6.修改my.cnf

vim /etc/my.cnf

basedir = /usr/java/mysql
datadir = /usr/java/mysql/data
log-error = /usr/java/mysql/data/error.log
pid-file = /usr/java/mysql/data/mysql.pid
user = root
tmpdir = /tmp

1.1.7.初始化数据库

[root@centos java]# cd /usr/java/mysql
[root@centos mysql]# ./scripts/mysql_install_db --user=root --basedir=/usr/java/mysql --datadir=/usr/java/mysql/data --pid-file=/usr/java/mysql/data/mysql.pid --tmpdir=/tmp

1.1.8.启动和关闭mysql

[root@centos mysql]# service mysql start
Starting MySQL..                                          [确定]
[root@centos mysql]# service mysql stop
Shutting down MySQL..                                     [确定]
[root@centos mysql]# service mysql restart
Shutting down MySQL..           
Starting MySQL..                                          [确定]

1.1.8.配置mysql命令支持

如果提示没有mysql命令，需要添加软连接

[root@centos mysql]# ln -s /usr/java/mysql/bin/mysql /usr/bin/mysql

1.1.9.修改MySQL密码

[root@centos upload]# mysql -u root
mysql> use mysql;
mysql> update user set password= password("1111") where user='root';
mysql> flush privileges;

1.1.10.开放远程登录权限

mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1111' WITH GRANT OPTION;
mysql>FLUSH PRIVILEGES;

1.1.11.设置开机启动

[root@centos mysql]# chkconfig mysql on![在这里插入图片描述](https://img-blog.csdnimg.cn/20210513212553190.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2J1Z19ubzA=,size_16,color_FFFFFF,t_70#pic_center)

1.2.MySQL主从复制

1.2.1.mysql主从简介

1. MySQL 默认支持主(master)从(slave)功能.
2. 主从复制效果：在主数据库中操作时,从同步进行变化.
3. 主从复制本质：主数据的操作写入到日志中,从数据库从日志中读取,进行操作.

在这里插入图片描述

主从备份要素：
    1. 开启主数据库日志功能
    2. 每个数据库需要有一个 server_id,主 server_id 值小于从server_id(标识从哪server写入的)
    3. 每个 mysql 都有一个 uuid,由于虚拟机直接进行克隆,需要修改uuid 的值(唯一识别码)

1.2.2.配置mysql主从步骤

1.2.2.1.克隆MySql-1的虚拟机

在这里插入图片描述

1.2.2.2.配置主数据库

1、修改主数据库的my.cnf文件

在这里插入图片描述

2、重启mysql

[root@centos upload]# service mysql restart

3、通过命令可以观察主数据库在主从关系中状态.

在这里插入图片描述

1.2.2.3.配置从数据库

1、修改server_id

在这里插入图片描述

2、data文件夹auto.cnf编写当前mysql的uuid

在这里插入图片描述

3、重启mysql

[root@centos upload]# service mysql restart

4、修改slave

mysql> stop slave;
mysql> change master to master_host='192.168.204.138',master_user='root',master_password='1111',master_log_file='master_log.000001';
mysql> start slave;

5、查看slave状态

mysql>show slave status \G;

io线程和sql线程已开启：

在这里插入图片描述

只要没有错误,说明配置成功主从关系：

在这里插入图片描述

6、验证主从关系

​ 在主数据库中新建数据库,新建表,添加数据,观察从数据库的

2.MyCat

2.1.MyCat简介

MyCAT是一个数据库中间件。国产开源项目，前身是cobar项目。

在这里插入图片描述

2.2.Mycat对多数据库的支持

在这里插入图片描述

2.3.MyCAT架构

如图所示：MyCAT使用Mysql的通讯协议模拟成了一个Mysql服务器，所有能使用Mysql的客户端以及编程语言都能将MyCAT当成是Mysql Server来使用，不必开发新的客户端协议。
在这里插入图片描述

2.4.MyCat分库分表

垂直分割（分库）：指按照业务将表进行分类，分布到不同的数据库上面，这样也就将数据或者说压力分担到不同的库上面，如下图：

把usian拆成3个库
在这里插入图片描述

水平分割（分表）：一个表格的数据按照行分割到多个节点上，如图：

把tb_order表拆分到3个数据库里
在这里插入图片描述

典型的分片规则：

​ 根据主键编号进行hash、求余，如图
在这里插入图片描述

​

2.5.MyCat安装

2.5.1.下载mycat

官方网站：http://www.mycat.org.cn/

github地址：https://github.com/MyCATApache

2.5.2.安装Mycat

1、把MyCat的压缩包上传到linux服务器

在这里插入图片描述

2、解压缩，得到mycat目录

[root@centos upload]# tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz -C /usr/java

3、启动和关闭MyCat

进入mycat/bin，启动MyCat
启动命令：./mycat start
停止命令：./mycat stop
重启命令：./mycat restart
查看状态：./mycat status

注意：可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066

3.Mycat分库分表和读写分离

3.1.需求

把表分片存储到三个数据节点上。

3.2.安装环境

mysql节点1环境

操作系统版本 : centos6.5
数据库版本 :mysql-5.6
数据库名 : db1
ip:192.168.25.134

mysql节点2环境

操作系统版本 :centos6.5
数据库版本 :mysql-5.6
数据库名 : db2
ip:192.168.25.135

mysql节点3环境

操作系统版本 :centos6.5
数据库版本 :mysql-5.6
数据库名 : db3
ip:192.168.25.136

mycat节点环境

操作系统版本 :centos6.5
mycat版本：1.6release
ip:192.168.25.137

3.4.MyCat重要概念

1、逻辑库（schema）：一个包含了所有数据库的逻辑上的数据库

2、逻辑表（table）：一个包含了所有表的逻辑上的表

3、数据主机（dataHost）：数据库软件安装到哪个服务器上

4、数据节点（dataNode）：服务器上的mysql

5、分片规则（rule）：拆分规则

3.5. 配置schema.xml

3.5.1.Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataHost。

3.5.2.Schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<schema name="usian" checkSQLschema="false" sqlMaxLimit="100">
		<table name="tb_content" dataNode="dn1,dn2,dn3" rule="crc32slot" />
		<table name="tb_content_category" dataNode="dn1,dn2,dn3" rule="crc32slot1"/>
		<table name="tb_item" dataNode="dn1,dn2,dn3" rule="crc32slot2" />
		<table name="tb_item_cat" dataNode="dn1,dn2,dn3" rule="crc32slot3" />
		<table name="tb_item_desc" dataNode="dn1,dn2,dn3" rule="crc32slot4"  />
		<table name="tb_item_param" dataNode="dn1,dn2,dn3" rule="crc32slot5"  />
		<table name="tb_item_param_item" dataNode="dn1,dn2,dn3" rule="crc32slot6" />
		<table name="tb_order" dataNode="dn1,dn2,dn3" rule="crc32slot7" />
		<table name="tb_order_item" dataNode="dn1,dn2,dn3" rule="crc32slot8" />
		<table name="tb_order_shipping" dataNode="dn1,dn2,dn3" rule="crc32slot9" />
		<table name="tb_user" dataNode="dn1,dn2,dn3" rule="crc32slot10" />
		<table name="de_duplication" dataNode="dn1,dn2,dn3" rule="crc32slot11" />
		<table name="local_message" dataNode="dn1,dn2,dn3" rule="crc32slot12" />
	</schema>

	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />

	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="hostM1" url="192.168.233.137:3306" user="root" password="1111">
			<readHost host="hostS2" url="192.168.233.138:3306" user="root" password="1111" />
		</writeHost>
	</dataHost>
</mycat:schema>

3.6. 配置server.xml

3.6.1.server.xml介绍

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

3.6.2.server.xml配置

<user name="root">
    <property name="password">1111</property>
    <property name="schemas">usian</property>
</user>

<user name="user">
    <property name="password">1111</property>
    <property name="schemas">usian</property>
    <property name="readOnly">true</property>
</user>

3.7.配置rule.xml

3.7.1.分片规则

3.7.1.1.auto-sharding-long 规则
以 500 万为单位,实现分片规则：
1-500 万保存在 db1 中, 500 万零 1 到 1000 万保存在 db2 中,1000 万零 1 到 1500 万保存在 db3 中.
3.7.1.2.crc32slot 规则
在 CRUD 操作时,根据具体数据的 crc32 算法计算,数据应该保存在哪一个dataNode 中

3.7.2.rule.xml配置

1）<columns>id</columns>中推荐配置主键列

2）所有的 tableRule 只能使用一次。如果需要为多个表配置分片规则，那么需要在此重新定义该规则。

3) 要分片的数据库节点数量，必须指定，否则没法分片

<tableRule name="crc32slot1">
    <rule>
    	<columns>id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot2">
    <rule>
   	 	<columns>id</columns>
   		<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot3">
    <rule>
    	<columns>id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot4">
    <rule>
    	<columns>item_id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot5">
    <rule>
    	<columns>id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot6">
    <rule>
    	<columns>id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot7">
    <rule>
    	<columns>order_id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot8">
    <rule>
    	<columns>id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot9">
    <rule>
    	<columns>order_id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot10">
    <rule>
    	<columns>id</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>    
</tableRule>
<tableRule name="crc32slot11">
    <rule>
    	<columns>tx_no</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>
<tableRule name="crc32slot12">
    <rule>
    	<columns>tx_no</columns>
    	<algorithm>crc32slot</algorithm>
    </rule>
</tableRule>    
<function name="crc32slot" class="io.mycat.route.function.PartitionByCRC32PreSlot">
    <property name="count">3</property><!-- 要分片的数据库数量，必须指定，否则没法分片 -->
</function>

3.8.测试

3.8.1.创建库

在主数据库中分别创建db1、db2、db3

3.8.2.创建表并插入数据

配置完毕后，重新启动mycat。

使用mysql客户端连接mycat，创建表并插入数据。

在这里插入图片描述
​

3.8.3.分表测试

在这里插入图片描述

3.8.4.项目测试

1、修改数据库url

spring:
  application:
    name: usian-item-service
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    url: jdbc:mysql://192.168.233.139:8066/usian?characterEncoding=UTF-8
    username: root
    password: 1111
    type: com.alibaba.druid.pool.DruidDataSource
xwl66
关注
专栏目录
MySQL主从复制与读写分离（图文详解）
愿你成为自己喜欢的模样，不抱怨，不将就，有自由，有光芒！
02-04 1389
文章目录MySQL主从复制与读写分离一、案例概述二、======MySQL 主从复制原理======1、MySQL 支持的复制类型2、MySQL主从复制的工作过程三、======MySQL读写分离原理======1、读写分离存在意义2、常见的 MySQL 读写分离分为两种四、MySQL主从复制和读写分离实验部署案例拓扑图实验思路环境配置 MySQL主从复制与读写分离 一、案例概述 在实际的生产环境中，如果对数据库的读和写都在同一个数据库服务器中操作，无论是在安全性、高可用性还是高并发等各个方面都是完全不能满
使用Mycat构建MySQL读写分离、主从复制、主从高可用
weixin_33743661的博客
06-27 122
数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。 从数据库的角度来说，对于大多数应用来说，从集中到分布，最基本的一个需求不是数据存储的瓶颈，而是在于计算的瓶颈，即SQL查询的瓶颈，我们知道，正常情况下，Insert SQL就是几十个毫秒的时间内写入完成，而系统中的大多数Select SQL则要几秒到几分钟才能有结果，很多复杂的SQL，其消耗服务器CPU的能力...
MySQL读写分离&主从复制
萧碧宰治的博客
07-01 476
目 录一、MySQL读写分离①读写分离（含义、意义、场景）==**含义（什么是读写分离）：**====**意义（为什么要读写分离）：**====**场景（什么时候要读写分离）：**==Ⅰ 原理Ⅱ 较为常见的MysQL读写分离分为以下两种:1)基于程序代码内部实现2)基于中间代理层实现②主从复制Ⅰ 主从复制与读写分离的关系Ⅱ MySQL支持的复制类型Ⅲ MySQL主从复制的工作步骤二、MySQL主从复制和读写分离的配置①MySQL主从服务器时间同步②主从服务器的MySQL配置③搭建MySQL读写分离1）Amo
mysql配置主从复制与用mycat实现读写分离
风起尘落的博客
09-25 468
1.准备两台以上的服务器并安装mysql liunx下如何安装mysql:https://blog.csdn.net/qq_34707456/article/details/101214999 主从复制 2.配置两台服务器上mysql的配置文件： 主服务器配置： 找到mysql配置文件my.cnf，一般在/etc目录下 添加如下两项配置： server_id=109 #...
MySQL主从复制与读写分离
qq_44363920的博客
06-27 809
在企业应用中，成熟的业务通常数据量都比较大，单台MySQL在安全性、高可用性和高并发方面都无法满足实际的需求，所以需要配置多台主从数据库服务器以实现读写分离。
基于mycat的Mysql主从复制读写分离笔记
最新发布
11-01
4. Mysql主从复制配置 2 1) 配置主库 2 A. 修改主库配置文件 3 B. 重启mysql 3 C. 查看主库状态 3 D. 分配一个从库复制的账号 3 E. 查看从库复制账号 3 2) 配置从库 4 A. 修改从库配置文件 4 B. 重启mysql从服务器 4...
Mycat+MySQL主从复制读写分离验证安装手册
04-06
### Mycat+MySQL主从复制读写分离验证安装手册知识点详解 #### 1. 实验环境及准备 在实现Mycat与MySQL的主从复制读写分离之前，需要搭建好实验环境。根据文档中的信息，实验环境由两台机器组成，分别用于充当MySQL...
Mycat实现MySQL主从复制读写分离配置实战
"这篇教程详细介绍了如何在Mycat中配置基于Mysql的主从复制和读写分离，适合DBA学习。文章首先提到了软件环境，包括Windows 7操作系统，Mycat-server 1.6版本，JDK 1.8以及两台Mysql 5.6服务器。接着，文章阐述了...
【MySQL】读写分离&主从复制
liuwanqing233333的博客
11-29 1409
MySQL 读写分离原理和搭建主从复制集群教程，超详细~
mysql主从复制读写分离与高可用配置
ytp552200ytp的博客
08-13 262
一、说明 前面我们说了mysql的安装配置(并提供一键安装脚本),mysql语句使用以及备份恢复mysql数据;本次要介绍的是mysql的主从复制,读写分离;及高可用MHA; 环境如下: master:CentOS7_x64 mysql5.721 172.16.3.175 db1 slave1:CentOS7_x64 mysql5.7.21 172.16.3.235 db2 slave2:CentOS7_x64 mysql5.7.21 172.16.3.235 db3 proxysql/MHA:CentO
MySql主从复制读写分离
Genius_zhu的博客
09-22 782
一台MySQL数据库一旦启用二进制日志后，其作为master，它的数据库中所有操作都会以【事件】的方式记录在二进制日志中，其他数据库作为slave通过一个I/O线程与主服务器保持通信，并监控master的二进制日志文件的变化，如果发现master二进制日志文件发生变化，则会把变化复制到自己的中继日志（relay log）中，然后slave的一个SQL线程会把相关的【事件】执行到自己的数据库中，以此实现从数据库和主数据库的一致性，也就实现了主从复制。基于客户端的实现，也就是在应用程序/代码层面的实现。
MySQL主从复制和读写分离
kid00013的博客
06-05 211
目录1.MySQL主从复制原理2.主从复制实现过程2.1主服务器设置 192.168.112.99 2.2 从服务器设置 192.168.112.100 192.168.112.1012.3 主从测试3.MySQL读写分离原理4.读写分离实现过程4.1 安装jdk 4.2 安装amoeba4.3 测试读写分离主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库，主数据库一般是准实时的业务数据库。一台服务器充当主服务器，而另外一台服务器充当从服务器。此时主服务器会将更新信息写入到一个特
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值