Docker下MySQL主从三部曲之三：binlog日志参数实战

于 2018-06-26 17:19:17 发布
阅读量539 收藏
点赞数
分类专栏： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32440951/article/details/80818190
版权

本章是《Docker下MySQL主从三部曲》的终篇，前面的章节我们能够制作镜像来搭建主从同步环境，本章我们来观察binlog参数MASTER_LOG_POS；

关于从库同步的设置

在设置从库同步的时候一般会使用以下SQL：

CHANGE MASTER TO MASTER_HOST='172.17.0.2', \
MASTER_USER='rep', \
MASTER_PASSWORD='888888', \
MASTER_LOG_FILE='mysql-bin.000001', \
MASTER_LOG_POS=745;
  • 1
  • 2
  • 3
  • 4
  • 5

今天我们的实战和上面的MASTER_LOG_FILE、MASTER_LOG_POS两个参数有关；

第一个问题

上一章制作从库镜像时并未设置MASTER_LOG_FILE和MASTER_LOG_POS，但是之前的文章《Docker下手工配置MySQL主从》中却又设置了这两个参数，那么在设置主从同步的时候，究竟该不该设置这两个参数呢？

前面两章实战我们已经验证过了，不设置这两个参数并不会影响主从同步，所以可以不设置，那么就剩下一个问题：设置了MASTER_LOG_FILE和MASTER_LOG_POS有什么影响？

参数MASTER_LOG_FILE

在master容器的MySQL命令行执行show master status：

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |      154 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

如上所示，bin log文件名为mysql-bin.000003，在/etc/mysql/mysql.conf.d/mysqld.cnf中定义的文件路径如下：

[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
#log-error      = /var/log/mysql/error.log
# By default we only accept connections from localhost
#bind-address   = 127.0.0.1
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9

根据以上配置信息，我们在/var/lib/mysql目录下找到了bin log文件mysql-bin.000003，如下：

root@ae594a28192d:/var/lib/mysql# pwd
/var/lib/mysql
root@ae594a28192d:/var/lib/mysql# ls -al
total 191468
drwxr-xr-x  5 mysql mysql     4096 Apr  2 01:12 .
drwxr-xr-x 19 root  root      4096 Mar 14 07:47 ..
-rw-r-----  1 mysql mysql       56 Apr  2 01:12 auto.cnf
-rw-------  1 mysql mysql     1675 Apr  2 01:12 ca-key.pem
-rw-r--r--  1 mysql mysql     1107 Apr  2 01:12 ca.pem
-rw-r--r--  1 mysql mysql     1107 Apr  2 01:12 client-cert.pem
-rw-------  1 mysql mysql     1675 Apr  2 01:12 client-key.pem
-rw-r-----  1 mysql mysql     1353 Apr  2 01:12 ib_buffer_pool
-rw-r-----  1 mysql mysql 50331648 Apr  2 01:13 ib_logfile0
-rw-r-----  1 mysql mysql 50331648 Apr  2 01:12 ib_logfile1
-rw-r-----  1 mysql mysql 79691776 Apr  2 01:13 ibdata1
-rw-r-----  1 mysql mysql 12582912 Apr  2 01:13 ibtmp1
drwxr-x---  2 mysql mysql     4096 Apr  2 01:12 mysql
-rw-r-----  1 mysql mysql      177 Apr  2 01:12 mysql-bin.000001
-rw-r-----  1 mysql mysql  3039401 Apr  2 01:12 mysql-bin.000002
-rw-r-----  1 mysql mysql      154 Apr  2 01:12 mysql-bin.000003
-rw-r-----  1 mysql mysql       57 Apr  2 01:12 mysql-bin.index
drwxr-x---  2 mysql mysql     4096 Apr  2 01:12 performance_schema
-rw-------  1 mysql mysql     1675 Apr  2 01:12 private_key.pem
-rw-r--r--  1 mysql mysql      451 Apr  2 01:12 public_key.pem
-rw-r--r--  1 mysql mysql     1107 Apr  2 01:12 server-cert.pem
-rw-------  1 mysql mysql     1675 Apr  2 01:12 server-key.pem
drwxr-x---  2 mysql mysql    12288 Apr  2 01:12 sys
root@ae594a28192d:/var/lib/mysql#
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28

设置同步时，若MASTER_LOG_FILE有误会怎么样？来试试： 
1. 进入MySQL第一从库容器，再进入MySQL命令行； 
2. 执行stop slave;停止同步； 
3. 执行以下SQL重新设置同步参数，其中MASTER_LOG_FILE已被改成一个不存在的文件名“mysql-bin.999999”：

CHANGE MASTER TO MASTER_HOST='masterhost', \
MASTER_USER='rep', \
MASTER_PASSWORD='888888', \
MASTER_LOG_FILE='mysql-bin.999999', \
MASTER_LOG_POS=154;
  • 1
  • 2
  • 3
  • 4
  • 5


4. 执行start slave;开始同步； 
5. 执行show slave status\G查看同步状态，发现”Last_IO_Error”字段的值如下，提示找不到binlog文件：

 Last_IO_Error: Got fatal error 1236 from master when reading data from binary log: 'Could not find first log file name in binary log index file'
  • 1


6. 此时在主库的MySQL命令行执行SQL新增一条记录：insert into test_table(name) values (‘tom’);； 
7. 回到第一从库查看test_table表，发现数据没有同步过来； 
8. 去第二从库查看test_table表，数据同步正常：

小结：MASTER_LOG_FILE的值与主库同步的binlog名不一致会导致同步失败；

查看binlog文件

接下来看看MASTER_LOG_POS参数的作用，我们把之前的容器全部清除再重新来验证： 
1. 在docker-compose.yml文件所在目录下执行docker-compose down，将一主二从容器全部删除； 
2. 在docker-compose.yml文件所在目录下执行docker-compose up -d，像《Docker下MySQL主从三部曲之一：极速体验》一样重新创建一主二从； 
3. 进入第一从库，在MySQL命令行执行stop slave;，将主从同步停止； 
4. 在MySQL主库的命令行执行以下命令，创建数据库、表、新增记录：

create database test001;

use test001;

CREATE TABLE `test_table` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

insert into test_table(name) values ('jerry');
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11


5. 执行show master status;，查出binlog文件名为mysql-bin.000003； 
6. 推出MySQL命令行，执行mysqlbinlog /var/lib/mysql/mysql-bin.000003 > ~/mysql-bin.000003.txt将binlog文件转成可读的文本文件； 
7. 打开文件~/mysql-bin.000003.txt，看到如下内容：

SET @@session.collation_database=DEFAULT/*!*/;
create database test001
/*!*/;
# at 322
#180402 12:37:52 server id 1  end_log_pos 387 CRC32 0xa2118048  Anonymous_GTID  last_committed=1        sequence_number=2       rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 387
#180402 12:37:52 server id 1  end_log_pos 628 CRC32 0x4eb6b868  Query   thread_id=4     exec_time=1     error_code=0
use `test001`/*!*/;
SET TIMESTAMP=1522672672/*!*/;
CREATE TABLE `test_table` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(100) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
/*!*/;
# at 628
#180402 12:37:57 server id 1  end_log_pos 693 CRC32 0x37e9fbe9  Anonymous_GTID  last_committed=2        sequence_number=3       rbr_only=ye
s
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 693
#180402 12:37:57 server id 1  end_log_pos 768 CRC32 0x0a4b387b  Query   thread_id=4     exec_time=0     error_code=0
SET TIMESTAMP=1522672677/*!*/;
BEGIN
/*!*/;
# at 768
#180402 12:37:57 server id 1  end_log_pos 827 CRC32 0x45fec29f  Table_map: `test001`.`test_table` mapped to number 108
# at 827
#180402 12:37:57 server id 1  end_log_pos 874 CRC32 0x620435ef  Write_rows: table id 108 flags: STMT_END_F

BINLOG '
JSTCWhMBAAAAOwAAADsDAAAAAGwAAAAAAAEAB3Rlc3QwMDEACnRlc3RfdGFibGUAAgMPAiwBAp/C
/kU=
JSTCWh4BAAAALwAAAGoDAAAAAGwAAAAAAAEAAgAC//wBAAAABQBqZXJyee81BGI=
'/*!*/;
# at 874
#180402 12:37:57 server id 1  end_log_pos 905 CRC32 0x6128e936  Xid = 29
COMMIT/*!*/;
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42

从上述内容可以看到，每次写入操作之后都会有个# at xxx这样的标记，这就是MASTER_LOG_POS对应的数字； 
8. 将上面的几个关键点整理成下面的表格：

at值at前面的操作
154此位置之后会执行创建数据库的操作
322创建数据库
628创建表
874向表中新增一条记录

修改MASTER_LOG_POS

接下来我们修改MASTER_LOG_POS参数试试： 
1. 进入第一从库容器的MySQL命令行； 
2. 执行下面的SQL，令MASTER_LOG_POS等于628，也就是不包含创建数据库和创建表的binlog内容：

CHANGE MASTER TO MASTER_HOST='masterhost', \
MASTER_USER='rep', \
MASTER_PASSWORD='888888', \
MASTER_LOG_FILE='mysql-bin.000003', \
MASTER_LOG_POS=628;
  • 1
  • 2
  • 3
  • 4
  • 5


3. 进入第一从库，在MySQL命令行执行start slave;，将主从同步启动； 
4. 执行show slave status\G查看同步状态，看到Last_SQL_Error字段的内容如下：

Last_SQL_Error: Error executing row event: 'Table 'test001.test_table' doesn't exist'
  • 1

如上所示，MASTER_LOG_POS参数指定的AT数字之后的binlog才会被执行，之前的是不执行的； 
5. MySQL命令行执行stop slave;，将主从同步停止； 
6. 执行下面的SQL，令MASTER_LOG_POS等于154，也就是创建数据库之前的位置：

CHANGE MASTER TO MASTER_HOST='masterhost', \
MASTER_USER='rep', \
MASTER_PASSWORD='888888', \
MASTER_LOG_FILE='mysql-bin.000003', \
MASTER_LOG_POS=154;
  • 1
  • 2
  • 3
  • 4
  • 5


7. MySQL命令行执行start slave;，将主从同步启动； 
8. 查看同步状态，已经正常，再去查数据库数据，也已经同步过来了：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test001            |
+--------------------+
5 rows in set (0.00 sec)

mysql> use test001;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from test_table;
+----+-------+
| id | name  |
+----+-------+
|  1 | jerry |
+----+-------+
1 row in set (0.00 sec)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

到这里，对MASTER_LOG_POS参数的实战就结束了，该参数与binlog中的“at”标记对应，如果设置不当，会导致前面的SQL操作丢失，在遇到有依赖的同步操作时就会有问题；

至此，Docker下MySQL主从三部曲就全部结束了，希望能够给您的Docker实战带来一些参考，助您做出更实用的镜像；

股海孙悟空
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值