基于docker实现MySQL主从复制
1 在Linux上安装docker
前提条件:
-
Docker可以运行在Windows、Mac、CentOS、Ubuntu等操作系统上
-
Docker支持以下的CentOS版本:
-
- CentOS 7 (64-bit)
- CentOS 6.5 (64-bit) 或更高的版本
-
目前,CentOS 仅发行版本中的内核支持 Docker
-
- Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。
- Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。
- 查看系统内核
uname命令用于打印当前系统相关信息(内核版本号、硬件架构、主机名称和操作系统类型等)。
uname -r
- 查看已安装的CentOS版本信息
cat /etc/redhat-release
满足上面可以安装docker的条件即可安装。
docker官网:
官网:http://www.docker.com
安装手册:https://docs.docker.com/install/linux/docker-ce/centos(CE-社区版)
1.1 安装需要的软件包
yy -utils提供了yy-config-manager相关功能,device-mapper-persistent-data和lvm2是设备映射器驱动程序所需要的。
yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
如果有以下报错信息:
报错:Another app is currently holding the yum lock; waiting for it to exit… 另一个应用程序是:PackageKit 内存:146 M RSS (497 MB VSZ) 已启动: Wed Oct 26 20:20:11 2022 - 00:07之前 状态 :运行中,进程ID:2874 Another app is currently holding the yum lock; waiting for
执行下面命令即可:
rm -f /var/run/yum.pid
1.2 设置docker镜像为阿里云、更新yum索引
①设置docker镜像为阿里云
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
②我们在更新或配置yum源之后,通常都会使用yum makecache 生成缓存,这个命令是将软件包信息提前在本地缓存一份,用来提高搜索安装软件的速度
yum makecache fast
1.3 docker安装即后续配置
①安装docker ce
yum install -y docker-ce
②启动docker
systemctl start docker
③查看docker版本
docker version
④设置docker是否开启自起
#查看服务是否自动启动(是:enabled | 否:disabled)
systemctl list-unit-files|grep docker.service
#设置开机启动:如不是enabled可以运行如下命令设置自启动
systemctl enable docker
#重新加载服务配置
systemctl daemon-reload
#如果希望不进行自启动,运行如下命令设置
systemctl disable docker
#重新加载服务配置
systemctl daemon-reload
⑤如果我们想卸载docker,执行以下命令
systemctl stop docker
yum remove -y docker-ce
rm -rf /var/lib/docker
2 通过docker镜像搭建MySQL主从
我们采用一主二从的方式
- 主服务器:容器名
zi-mysql-master
,端口3306
- 从服务器:容器名
zi-mysql-slave1
,端口3307
- 从服务器:容器名
zi-mysql-slave2
,端口3308
2.1 关闭防火墙,启动docker
#关闭docker
systemctl stop docker
#关闭防火墙
systemctl stop firewalld
#启动docker
systemctl start docker
2.2 搭建主服务器master(主机中创建slave用户)
step1:在docker中创建并启动MySQL主服务器:端口3306
docker run -d \
-p 3306:3306 \
-v /zi/mysql/master/conf:/etc/mysql/conf.d \
-v /zi/mysql/master/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name zi-mysql-master \
mysql:8.0.31
如果docker本地镜像中没有MySQL,会默认去下载镜像
step2:创建MySQL主服务器配置文件:
默认情况下MySQL的binlog日志是自动开启的,可以通过如下配置定义一些可选配置
vim /zi/mysql/master/conf/my.cnf
配置文件内容:
通过vim命令写入到my.cnf即可
[mysqld]
# 服务器唯一id,默认值1
server-id=1
# 设置日志格式,默认值ROW
binlog_format=STATEMENT
# 二进制日志名,默认binlog
# log-bin=binlog
# 设置需要复制的数据库,默认复制全部数据库
#binlog-do-db=mytestdb
# 设置不需要复制的数据库
#binlog-ignore-db=mysql
#binlog-ignore-db=infomation_schema
重启MySQL容器
docker restart zi-mysql-master
注意:binlog日志
binlog格式说明:
- binlog_format=STATEMENT:日志记录的是主机数据库的
写指令
,性能高,但是now()之类的函数以及获取系统参数的操作会出现主从数据不同步的问题。 - binlog_format=ROW(默认):日志记录的是主机数据库的
写后的数据
,批量操作时性能较差,解决now()或者 user()或者 @@hostname 等操作在主从机器上不一致的问题。 - binlog_format=MIXED:是以上两种level的混合使用,有函数用ROW,没函数用STATEMENT,但是无法识别系统变量
我们此处采用STATEMENT模式
step3:使用命令行登录MySQL主服务器:
#进入容器:env LANG=C.UTF-8 避免容器中显示中文乱码
docker exec -it zi-mysql-master env LANG=C.UTF-8 /bin/bash
#进入容器内的mysql命令行
mysql -uroot -p
# 如果SQLyog或Navicat测试连接报错,修改默认加密方式
#修改默认密码校验方式
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
step4:主机中创建slave用户:
-- 创建slave用户
CREATE USER 'zi_slave'@'%';
-- 设置密码
ALTER USER 'zi_slave'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
-- 授予复制权限
GRANT REPLICATION SLAVE ON *.* TO 'zi_slave'@'%';
-- 刷新权限
FLUSH PRIVILEGES;
step5:主机中查询master状态:
执行完此步骤后不要再操作主服务器MYSQL
,防止主服务器状态值变化
SHOW MASTER STATUS;
记下
File
和Position
的值。执行完此步骤后不要再操作主服务器MYSQL,防止主服务器状态值变化。【file和position后续配置从服务器会使用】
2.3 搭建从服务器slave1、slave2
step1:在docker中创建并启动MySQL从服务器
复制shell会话或者新建两个终端,分别创建slave服务器
在docker中创建并启动MySQL从服务器slave1:端口3307
docker run -d \
-p 3307:3306 \
-v /zi/mysql/slave1/conf:/etc/mysql/conf.d \x
-v /zi/mysql/slave1/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name zi-mysql-slave1 \
mysql:8.0.31
在docker中创建并启动MySQL从服务器slave2:端口3308
docker run -d \
-p 3308:3306 \
-v /zi/mysql/slave2/conf:/etc/mysql/conf.d \
-v /zi/mysql/slave2/data:/var/lib/mysql \
-e MYSQL_ROOT_PASSWORD=123456 \
--name zi-mysql-slave2 \
mysql:8.0.31
step2:创建MySQL从服务器配置文件:
slave1:
vim /zi/mysql/slave1/conf/my.cnf
配置如下内容:
[mysqld]
# 服务器唯一id,每台服务器的id必须不同,如果配置其他从机,注意修改id
server-id=2
# 中继日志名,默认xxxxxxxxxxxx-relay-bin
#relay-log=relay-bin
slave2:
vim /zi/mysql/slave2/conf/my.cnf
[mysqld]
# 服务器唯一id,每台服务器的id必须不同,如果配置其他从机,注意修改id
server-id=3
# 中继日志名,默认xxxxxxxxxxxx-relay-bin
#relay-log=relay-bin
重启MySQL容器(slave1、slave2)
docker restart zi-mysql-slave1
docker restart zi-mysql-slave2
step3:使用命令行登录MySQL从服务器:
slave1:
#进入容器:
docker exec -it zi-mysql-slave1 env LANG=C.UTF-8 /bin/bash
#进入容器内的mysql命令行
mysql -uroot -p
#修改默认密码校验方式
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
slave2:
docker exec -it zi-mysql-slave2 env LANG=C.UTF-8 /bin/bash
#进入容器内的mysql命令行
mysql -uroot -p
#修改默认密码校验方式
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '123456';
step4:在从机上配置主从关系:
slave1、slave2:
在从机上执行以下SQL操作[两台从机操作都一样]
此处就需要用到我们之前记录好的主库的file和position:
通过在主库执行SHOW MASTER STATUS;
可以查看主库这两项配置,但是执行命令后不要再操作主库,以免发生改变
CHANGE MASTER TO MASTER_HOST='192.168.145.48',
MASTER_USER='zi_slave',MASTER_PASSWORD='123456', MASTER_PORT=3306,
MASTER_LOG_FILE='binlog.000003',MASTER_LOG_POS=1357;
2.4 启动主从同步
启动从机的复制功能,执行SQL:
START SLAVE;
-- 查看状态(不需要分号) \G表示纵向显示, G需要大写
SHOW SLAVE STATUS\G
两个关键进程: 下面两个参数都是Yes,则说明主从配置成功!
- 常见问题:
①启动主从同步后,常见错误是
Slave_IO_Running: No 或者 Connecting
的情况,此时查看下方的Last_IO_ERROR
错误日志,根据日志中显示的错误信息在网上搜索解决方案即可
典型的错误例如: Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: ‘Client requested master to start replication from position > file size’
-- 在从机停止slave
STOP SLAVE;
-- 在主机查看mater状态
SHOW MASTER STATUS;
-- 在主机刷新日志
FLUSH LOGS;
-- 再次在主机查看mater状态(会发现File和Position发生了变化)
SHOW MASTER STATUS;
-- 修改从机连接主机的SQL,并重新连接即可
②启动docker容器后提示
WARNING: IPv4 forwarding is disabled. Networking will not work.
此错误,虽然不影响主从同步的搭建,但是如果想从远程客户端通过以下方式连接docker中的MySQL则没法连接
解决方案:
#修改配置文件:
vim /usr/lib/sysctl.d/00-system.conf
#追加
net.ipv4.ip_forward=1
#接着重启网络
systemctl restart network
问题③:
解决方案:
CREATE USER 'zi_slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'zi_slave'@'%';
-- 发现master端和此处密码不一样
2.5 实现主从同步
在主机中执行以下SQL,在从机中查看数据库、表和数据是否已经被同步
CREATE DATABASE db_user;
USE db_user;
CREATE TABLE t_user (
id BIGINT AUTO_INCREMENT,
uname VARCHAR(30),
PRIMARY KEY (id)
);
INSERT INTO t_user(uname) VALUES('zhang3');
INSERT INTO t_user(uname) VALUES(@@hostname);
2.6 查看结果
主从都使用db_user数据库:
use db_user;
①master:
②slave1:
③slave2:
可以发现上面的hostname与docker容器ID是对应的,表明主从复制实现
因为我们之前的binlog设置的是STATEMENT所以记录的是执行的操作,而不是直接将主库里面的值全盘复制
binlog_format=STATEMENT:日志记录的是主机数据库的写指令,性能高,但是now()之类的函数以及获取系统参数的操作会出现主从数据不同步的问题。
binlog_format=ROW(默认):日志记录的是主机数据库的写后的数据,批量操作时性能较差,解决now()或者 user()或者 @@hostname 等操作在主从机器上不一致的问题。
一般我们还是使用默认,不过此处为了演示效果使用了STATEMENT
2.7 停止和重置主从
需要的时候,可以使用如下SQL语句
-- 在从机上执行。功能说明:停止I/O 线程和SQL线程的操作。
stop slave;
-- 在从机上执行。功能说明:用于删除SLAVE数据库的relaylog日志文件,并重新启用新的relaylog文件。
reset slave;
-- 在主机上执行。功能说明:删除所有的binglog日志文件,并将日志索引文件清空,重新开始所有新的日志文件。
-- 用于第一次进行搭建主从库时,进行主库binlog初始化工作;
reset master;