MySQL binlog主从同步简介
传统的MySQL提供了一种简单的主从同步方法,主机数据库执行并提交事务,然后将事务异步发送到从数据库,使从机数据库执行相同的语句(如DDL、DML),默认情况下所有服务器均具有数据的完整副本。主要流程图如下:
![d54945aa8f495d196bc1196f3d108be8.png](https://i-blog.csdnimg.cn/blog_migrate/55d979c6a621082a88ed1de7b26aad94.jpeg)
主机Mysql通过Binlog Dump线程将日志发送到从机Mysql的IO线程,I/O线程获取到事件数据后更新到从库的中继日志(relay log)中,从机Mysql的SQL线程从relay log中获取所有事件并执行(Apply),SQL线程在执行每个中继日志文件中的所有事件并且不再需要它之后,会自动删除该文件。
目前官方文档提供的主从复制含使用全局事务标识符(GTID)进行复制与基于二进制日志文件位置(Binary Log File Position)的复制两种,本文主要介绍如何通过Docker+Docker Compose简便搭建基于binlog的Mysql主从复制环境。
前置环境
- Docker
- Docker Compose
可参考Centos安装Docker与Docker Compose进行安装
搭建流程
- 环境配置树
![d0c96563f3f7414b8c3c9736f29df6a9.png](https://i-blog.csdnimg.cn/blog_migrate/5196b41d5a26f62036d9ea726d9ed655.jpeg)
1. docker-compose.yml配置容器
![c4dc5c46c8cad991a1c744654f6310f6.png](https://i-blog.csdnimg.cn/blog_migrate/23319e8edc4cf009a21204c74f8b9333.jpeg)
2. master文件配置
- ./mysql/master/conf/my.cnf
[mysqld]## 局域网唯一server_id=1## 指定不需要同步的数据库名称binlog-ignore-db=master1## 开启二进制日志功能log-bin=master1-bin## 设置二进制日志使用内存大小(事务)binlog_cache_size=1M## 设置使用的二进制日志格式(mixed,statement,row)binlog_format=mixed## 二进制日志过期清理时间。默认值为0,表示不自动清理。expire_logs_days=7## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致slave_skip_errors=1062
- ./mysql/master/conf/init.sql(创建从机同步用户)
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';
3. slave文件配置(./slave/conf/my.cnf)
[mysqld]## 局域网唯一server_id=2## 指定不需要同步的数据库名称binlog-ignore-db=mysql## 开启二进制日志功能,以备Slave作为其它数据库实例的Master时使用log-bin=master1-slave1-bin## 设置二进制日志使用内存大小(事务)binlog_cache_size=1M## 设置使用的二进制日志格式(mixed,statement,row)binlog_format=mixed## 二进制日志过期清理时间。默认值为0,表示不自动清理。expire_logs_days=7## 跳过主从复制中遇到的所有错误或指定类型的错误,避免slave端复制中断。## 如:1062错误是指一些主键重复,1032错误是因为主从数据库数据不一致slave_skip_errors=1062## relay_log配置中继日志relay_log=mall-mysql-relay-bin## log_slave_updates表示slave将复制事件写进自己的二进制日志log_slave_updates=1## slave设置为只读(具有super权限的用户除外)read_only=1
4. 容器运行并进行同步配置测试
- 启动容器:进入docker-compose.yml所在文件夹执行docker-compose up -d
![3c6f9327e4a908f9cb1a51482a5f2846.png](https://i-blog.csdnimg.cn/blog_migrate/9b85efd176c6f07b1b3651363c0b8045.jpeg)
- 查看master容器mysql binary log文件(File)与位置(Position)
docker exec -it mysql-master1 /bin/bashmysql -uroot -ptigershow master status;
![3be6b5e3a7b8e26aa71ebcf6676e4d28.png](https://i-blog.csdnimg.cn/blog_migrate/b5898b0c2e51a7cc783ac5a8d2c38450.jpeg)
- slave容器mysql master连接配置并进行同步
docker exec -it mysql-master1-slave1 /bin/bashmysql -uroot -ptiger# master_host可设为ip或容器hostname,使用用户为slave连接主机并通过log同步change master to master_host='mysql-master1', master_user='slave', master_password='123456', master_port=3306, master_log_file='master1-bin.000005', master_log_pos=154, master_connect_retry=30;# 开启同步start slave;
查看同步信息(show slave status G):
![7ed919a1ff661c0482feb1efcc2866f3.png](https://i-blog.csdnimg.cn/blog_migrate/fd9987af81cb9778eb74949490489664.jpeg)
当从机的IO线程Slave_IO_RUNNING(负责获取主机SQL日志,YES时即为成功连接到主机)与SQL线程Slave_SQL_Running(负责执行同步的语句)显示都为YES时,则主从同步搭建成功。
校验
- 在master上创建数据库后到slave上查看是否有master上创建的数据库
- 在master上创建数据表后到slave上查看是否有master上创建的数据表
- 在master上插入数据后到slave上查看是否有master上插入的数据