基于docker实现mysq主从同步热备份和读写分离(上)

目录

1. 什么是主从同步热备
2. 主从同步机制
3. 配置主服务器(master)
4. 配置从服务器(slave)
5. 排错
6. 其他注意事宜


1、什么是主从同步热备

主从同步热备就是实时从一个数据库将表结构和表数据复制到其他数据库的过程。一般主服务器,我们称作master,其余的从服务器,我们称作save。复制是异步进行的,所以从服务需要一直连接着主服务器。 通过配置文件,可以指定复制所有的数据库,某个数据库,甚至是某个数据库上的某个表。如图:

主从热备和读写分离图

注意: mysql是异步复制的,而MySQL Cluster是同步复制的。有很多种主从同步的方法,但核心的方法有两种,Statement Based Replication(SBR)基于SQL语句的复制,另一种是Row Based Replication(RBR)基于行的复制,也可以使用Mixed Based Replication(MBR)。在mysql5.6中,默认使用的是SBR。而mysql 5.6.5和往后的版本是基于global transaction identifiers(GTIDs)来进行事务复制。当使用GTIDs时可以大大简化复制过程,因为GTIDs完全基于事务,只要在主服务器上提交了事务,那么从服务器就一定会执行该事务。

使用主从同步的好处:

  1. 通过增加从服务器来提高数据库的性能,在主服务器上执行写入和更新,在从服务器上向外提供读功能,可以动态地调整从服务器的数量,从而调整整个数据库的性能。
  2. 提高数据安全-因为数据已复制到从服务器,从服务器可以终止复制进程,所以,可以在从服务器上备份而不破坏主服务器相应数据
  3. 在主服务器上生成实时数据,而在从服务器上分析这些数据,从而提高主服务器的性能

通过设置服务器的系统变量binlog_format来指定要使用的格式:

  • SBR:当使用二进制日志时,主服务器会把SQL语句写入到日志中,然后从服务器会执行该日志,这就是SBR,在mysql5.1.4之前的版本都只能使用这种格式。使用SBR会有如下

长处:
1. 日志文件更小
2. 记录了所有的语句,可以用来日后审计
弊端:
1. 使用如下函数的语句不能被正确地复制:load_file(); uuid(), uuid_short(); user(); found_rows(); sysdate(); get_lock(); is_free_lock(); is_used_lock(); master_pos_wait(); rand(); release_lock(); sleep(); version();
2. 在日志中出现如下警告信息的不能正确地复制:[Warning] Statement is not safe to log in statement format.
3. 或者在客户端中出现show warnings
4. Insert … select语句会执行大量的行级锁表
5. Update语句会执行大量的行级锁表来扫描整个表

  • RBR:主服务器把表的行变化作为事件写入到二进制日志中,主服务器把代表了行变化的事件复制到从服务中,使用RBR的

长处:
1. 所有的数据变化都是被复制,这是最安全的复制方式
2. 更少的行级锁表
弊端:
1. 日志会很大
2. 不能通过查看日志来审计执行过的sql语句,不过可以通过使用mysqlbinlog
3. --base64-output=decode-rows --verbose来查看数据的 变动
3.MBR:既使用SBR也使用RBR,默认使用SBR

2、主从同步机制

Mysql服务器之间的主从同步是基于二进制日志机制,主服务器使用二进制日志来记录数据库的变动情况,从服务器通过读取和执行该日志文件来保持和主服务器的数据一致。
在使用二进制日志时,主服务器的所有操作都会被记录下来,然后从服务器会接收到该日志的一个副本。从服务器可以指定执行该日志中的哪一类事件(譬如只插入数据或者只更新数据),默认会执行日志中的所有语句。
每一个从服务器会记录关于二进制日志的信息:文件名和已经处理过的语句,这样意味着不同的从服务器可以分别执行同一个二进制日志的不同部分,并且从服务器可以随时连接或者中断和服务器的连接。
主服务器和每一个从服务器都必须配置一个唯一的ID号(在my.cnf文件的[mysqld]模块下有一个server-id配置项),另外,每一个从服务器还需要通过CHANGE MASTER TO语句来配置它要连接的主服务器的ip地址,日志文件名称和该日志里面的位置(这些信息存储在主服务器的数据库里)。如图:
在这里插入图片描述

3、配置主服务器(master)

1.在宿主机建立主服务的配置目录,并定义自己的my.cnf文件。主要是在[mysqld]模块下配置了log-bin和server-id

1.1 建立主服务的配置目录,用于存放配置

mkdir -pv /home/mysql/master/conf

1.2 建立主服务的配置目录,用于存放配置

mkdir -pv /home/mysql/master/data

1.3 配置目录下增加my.cnf配置

[mysqld]
server_id = 1
log-bin= mysql-bin

read-only=0
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema
###引用默认配置
!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mysql.conf.d/

注意上面的log-bin和server-id的值都是可以改为其他值的,如果没有上面的配置,首先关闭mysql服务器,然后添加上去,接着重启服务器

如需要忽略指定库或者指定表可以参考下面的设置

binlog-ignore-db = test (主从同步时忽略test库)[忽略库的字段]
binlog-do-db = test (需要同步的数据库,不在内的不同步)
replicate-wild-do-table=db_name.% (只复制哪个库的哪个表,格式:库名.表名)
replicate-wild-ignore-table=mysql.% (忽略哪个库的哪个表,格式:库名.表名)

文件结构如图:
文件结构如图
1.4 创建master主容器

docker run --name mastermysql -d -p 3307:3306 -e MYSQL_ROOT_PASSWORD=root -v /home/mysql/master/data:/var/lib/mysql -v /home/mysql/master/conf/my.cnf:/etc/mysql/my.cnf mysql:5.7

1.5 进行master主容器

docker exec -it mastermysql bash

1.6 进入msyql

mysql -u root -proot

创建用户,每一个从服务器都需要用到一个账户名和密码来连接主服务器,可以为每一个从服务器都创建一个账户,也可以让全部服务器使用同一个账户。下面就为同一个ip网段的所有从服务器创建一个只能进行主从同步的账户。
首先进入容器登陆mysql,然后创建创建一个用户名为backup,密码为123456的账户,该账户可以被所有网段访问,%是通配符,可以改为具体的地址网段,%标识所有网段下的ip地址都可以使用,且该账户只能进行主从同步

1.7 创建一个用户来同步数据,每个slave使用标准的MySQL用户名和密码连接master。进行复制操作的用户会授予REPLICATION SLAVE 权限。

GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456'; 
这里表示创建一个slaver同步账号backup,允许访问的IP地址为%,%表示通配符

或者使用

GRANT REPLICATION SLAVE ON *.* to 'backup'@'172.17.0.%' identified by '123456'; 
表示只有172.17.0的网段可以访问

1.8 查看状态,记住File、Position的值,在Slave中将用到

mysql> show master status\G;
*************************** 1. row ***************************
             File: mysql-bin.000003
         Position: 1579 文件相应位置
     Binlog_Do_DB:
Binlog_Ignore_DB:
Executed_Gtid_Set:
1 row in set (0.00 sec)

ERROR:
No query specified

4、配置从服务器(slave)

1.在宿主机建立从服务的配置目录,并定义自己的my.cnf文件。主要是在[mysqld]模块下配置了log-bin和server-id。server-id不能和主服务相同

1.1 建立主服务的配置目录,用于存放配置

mkdir -pv /home/mysql/slave/conf

1.2 建立从服务器的数据存储目录

mkdir -pv /home/mysql/slave/data

1.3 配置目录下增加my.cnf配置

[mysqld]
server_id = 2
log-bin= mysql-bin

read-only=0
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema
###引用默认配置
!includedir /etc/mysql/conf.d/
!includedir /etc/mysql/mysql.conf.d/

1.4 创建slave从容器

docker run --name slavemysql  -d -p 3308:3306 -e MYSQL_ROOT_PASSWORD=root -v /home/mysql/slave/data:/var/lib/mysql -v /home/mysql/slave/conf/my.cnf:/etc/mysql/my.cnf mysql:5.7

1.5 进行master主容器

docker exec -it slavemysql  bash

1.6 进入msyql

mysql -u root -proot

1.8 和主服务建立连接

change master to master_host='172.17.0.2',master_user='backup',master_password='123456',master_log_file='mysql-bin.000003',master_log_pos=0,master_port=3306;

注意:
master_host 可以通过 docker inspect XXX(容器名或者id) 获取。这里连接的是主服务,所有XXX是mastermysql. 或者用 docker inspect mastermysql |grep ‘IPAddress’
master_user 在主库创建的用户
master_password 用户密码
master_log_file 通过在主服务 show master status\G; 获取
master_port 主服务对外提供的对口号

1.9 启动从服务同步

start slave;

2.0 查看从服务状态

mysql> show slave status\G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.17.0.2
                  Master_User: backup
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000003
          Read_Master_Log_Pos: 439
               Relay_Log_File: 3118659d3288-relay-bin.000002
                Relay_Log_Pos: 652
        Relay_Master_Log_File: mysql-bin.000003
             Slave_IO_Running: Yes  负责从库去主库读取二进行日志,并写入到从库的中继日志
            Slave_SQL_Running: Yes  负责将中继日志换成sql语句后执行
              Replicate_Do_DB:
          Replicate_Ignore_DB: mysql,sys,information_schema,performance_schema
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 439
              Relay_Log_Space: 866
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
                  Master_UUID: e3e29dec-09dd-11e9-a654-0242ac110002
             Master_Info_File: /var/lib/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
1 row in set (0.00 sec)

说明:
Slave_IO_State: Waiting for master to send event ,表示成功了。Connecting to master 多半是连接不通
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
如何上面3个状态都正常,那么就是没有问题了。

5、排错

Slave_IO_Running: NO

这是一个很常见的错误(我也曾对这个错误咬牙切齿),总结起来就三个原因:
1. 主服务器的网络不通,或者主服务器的防火墙拒绝了外部连接3306端口
2. 在配置从服务器时,输错了ip地址和密码,或者主服务器在创建用户时写错了用户名和密码
3. 在配置从服务器时,输错了主服务器的二进制日志信息

6、其他注意事宜

1,首先在主从没有生效的时候,要保持两台服务器数据库、表相同,数据相同
master容器上执行:

mysqldump -uroot -p --all-databases >/root/all_database.sql

拷贝到slave容器中,在slave从库上执行:

mysql -uroot -p <all_database.sql

如此两步骤,主库和从库数据会追加相平,保持同步!

再此过程中,若主库存在业务,在同步的时候要先锁表,让其不要有修改!

#如需要,可以master容器中,执行以下命令锁定数据库以防止写入数据。

mysql>FLUSH TABLES WITH READ LOCK;

等待主从数据追平,主从同步后在打开锁!

#解锁数据表。

mysql>UNLOCK TABLES;

主从数据追平后,定位好从库到主库日志的文件名字,和相应的位置
master主库运行:

mysql> show master status/G;

由此,整个MySQL主从复制的过程就完成了,接下来,下一篇我们进行MySQL读写分离的安装与配置。

测试得在主服务器,添加库、表、数据就会自动的备份到从服务器了。切记,不可在从库插入数据。

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值