89.如何保证MySQL主库的数据都已经写入备库

最新推荐文章于 2024-07-23 19:15:50 发布
最新推荐文章于 2024-07-23 19:15:50 发布
阅读量66 收藏 1
点赞数
分类专栏： 数据库运维-MySQL 文章标签： mysql 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43346403/article/details/134212136
版权

1.首先当主库停止写入时,主库binlog pos的位置不再改变。

"root@localhost Fri Nov  3 22:15:53 2023 22:15:53 [test]">show master status;
+-----------------+----------+--------------+------------------+-------------------------------------------+
| File            | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                         |
+-----------------+----------+--------------+------------------+-------------------------------------------+
| mybinlog.000005 |     1440 |              |                  | c29a1b76-77a0-11ee-a26a-000c2959421a:1-53 |
+-----------------+----------+--------------+------------------+-------------------------------------------+
1 row in set (0.00 sec)

例如这个:
(1)mybinlog.000005 写入到:1440停止。
(2)当前gtid达到53;

我们从备库查看:
"root@localhost Fri Nov  3 22:15:24 2023 22:15:24 [(none)]">show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.1.7
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mybinlog.000005
          Read_Master_Log_Pos: 1440
               Relay_Log_File: mysql2-relay-bin.000002
                Relay_Log_Pos: 1262
        Relay_Master_Log_File: mybinlog.000005
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 1440
              Relay_Log_Space: 1470
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 73306
                  Master_UUID: c29a1b76-77a0-11ee-a26a-000c2959421a
             Master_Info_File: /data/mysql/data/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: c29a1b76-77a0-11ee-a26a-000c2959421a:50-53
            Executed_Gtid_Set: 02283b7e-7a50-11ee-bcd0-000c290123bd:1,
c29a1b76-77a0-11ee-a26a-000c2959421a:1-53
                Auto_Position: 0
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
1 row in set (0.00 sec)


--说明从库已经读取到了主库的mybinlog.000005 pos:1440的位置。
Master_Log_File: mybinlog.000005
Read_Master_Log_Pos: 1440

--表示应用了主库的:1440这个位置。
Exec_Master_Log_Pos: 1440

--获取的GTID的截止时间是53;
Retrieved_Gtid_Set: c29a1b76-77a0-11ee-a26a-000c2959421a:50-53

2.通过binlog和relaylog的对比,确认主备是否同步。

(1)查看主库最后的binlog内容。
"root@localhost Fri Nov  3 22:18:20 2023 22:18:20 [test]">show binary logs;
+-----------------+-----------+
| Log_name        | File_size |
+-----------------+-----------+
| mybinlog.000001 |       177 |
| mybinlog.000002 | 711884780 |
| mybinlog.000003 |       217 |
| mybinlog.000004 |       217 |
| mybinlog.000005 |      1440 |
+-----------------+-----------+
5 rows in set (0.00 sec)

"root@localhost Fri Nov  3 22:22:49 2023 22:22:49 [test]">show binlog events in 'mybinlog.000005';
+-----------------+------+----------------+-----------+-------------+---------------------------------------------------------------------------------------------------------------------------------------------------------+
| Log_name        | Pos  | Event_type     | Server_id | End_log_pos | Info                                                                                                                                                    |
+-----------------+------+----------------+-----------+-------------+---------------------------------------------------------------------------------------------------------------------------------------------------------+
| mybinlog.000005 |    4 | Format_desc    |     73306 |         123 | Server ver: 5.7.34-log, Binlog ver: 4                                                                                                                   |
| mybinlog.000005 |  123 | Previous_gtids |     73306 |         194 | c29a1b76-77a0-11ee-a26a-000c2959421a:1-48                                                                                                               |
| mybinlog.000005 |  194 | Gtid           |     73306 |         259 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:49'                                                                                      |
| mybinlog.000005 |  259 | Query          |     73306 |         497 | GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'repl'@'%' IDENTIFIED WITH 'mysql_native_password' AS '*A424E797037BF97C19A2E88CF7891C5C2038C039' |
| mybinlog.000005 |  497 | Gtid           |     73306 |         562 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:50'                                                                                      |
| mybinlog.000005 |  562 | Query          |     73306 |         649 | use `test`; truncate table test1                                                                                                                        |
| mybinlog.000005 |  649 | Gtid           |     73306 |         714 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:51'                                                                                      |
| mybinlog.000005 |  714 | Query          |     73306 |         786 | BEGIN                                                                                                                                                   |
| mybinlog.000005 |  786 | Table_map      |     73306 |         837 | table_id: 109 (test.test1)                                                                                                                              |
| mybinlog.000005 |  837 | Write_rows     |     73306 |         881 | table_id: 109 flags: STMT_END_F                                                                                                                         |
| mybinlog.000005 |  881 | Xid            |     73306 |         912 | COMMIT /* xid=44 */                                                                                                                                     |
| mybinlog.000005 |  912 | Gtid           |     73306 |         977 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:52'                                                                                      |
| mybinlog.000005 |  977 | Query          |     73306 |        1049 | BEGIN                                                                                                                                                   |
| mybinlog.000005 | 1049 | Table_map      |     73306 |        1100 | table_id: 109 (test.test1)                                                                                                                              |
| mybinlog.000005 | 1100 | Write_rows     |     73306 |        1145 | table_id: 109 flags: STMT_END_F                                                                                                                         |
| mybinlog.000005 | 1145 | Xid            |     73306 |        1176 | COMMIT /* xid=55 */                                                                                                                                     |
| mybinlog.000005 | 1176 | Gtid           |     73306 |        1241 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:53'                                                                                      |
| mybinlog.000005 | 1241 | Query          |     73306 |        1313 | BEGIN                                                                                                                                                   |
| mybinlog.000005 | 1313 | Table_map      |     73306 |        1364 | table_id: 109 (test.test1)                                                                                                                              |
| mybinlog.000005 | 1364 | Write_rows     |     73306 |        1409 | table_id: 109 flags: STMT_END_F                                                                                                                         |
| mybinlog.000005 | 1409 | Xid            |     73306 |        1440 | COMMIT /* xid=63 */                                                                                                                                     |
+-----------------+------+----------------+-----------+-------------+---------------------------------------------------------------------------------------------------------------------------------------------------------+
21 rows in set (0.00 sec)

--可以发现主库截止的POS=1440;介质的GTID=53;


(2)从库的relaylog查看。
"root@localhost Fri Nov  3 22:29:38 2023 22:29:38 [(none)]">show relaylog events in 'mysql2-relay-bin.000002';
+-------------------------+------+----------------+-----------+-------------+--------------------------------------------------------------------+
| Log_name                | Pos  | Event_type     | Server_id | End_log_pos | Info                                                               |
+-------------------------+------+----------------+-----------+-------------+--------------------------------------------------------------------+
| mysql2-relay-bin.000002 |    4 | Format_desc    |     83306 |         123 | Server ver: 5.7.34-log, Binlog ver: 4                              |
| mysql2-relay-bin.000002 |  123 | Previous_gtids |     83306 |         154 |                                                                    |
| mysql2-relay-bin.000002 |  154 | Rotate         |     73306 |           0 | mybinlog.000005;pos=497                                            |
| mysql2-relay-bin.000002 |  200 | Format_desc    |     73306 |           0 | Server ver: 5.7.34-log, Binlog ver: 4                              |
| mysql2-relay-bin.000002 |  319 | Gtid           |     73306 |         562 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:50' |
| mysql2-relay-bin.000002 |  384 | Query          |     73306 |         649 | use `test`; truncate table test1                                   |
| mysql2-relay-bin.000002 |  471 | Gtid           |     73306 |         714 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:51' |
| mysql2-relay-bin.000002 |  536 | Query          |     73306 |         786 | BEGIN                                                              |
| mysql2-relay-bin.000002 |  608 | Table_map      |     73306 |         837 | table_id: 109 (test.test1)                                         |
| mysql2-relay-bin.000002 |  659 | Write_rows     |     73306 |         881 | table_id: 109 flags: STMT_END_F                                    |
| mysql2-relay-bin.000002 |  703 | Xid            |     73306 |         912 | COMMIT /* xid=44 */                                                |
| mysql2-relay-bin.000002 |  734 | Gtid           |     73306 |         977 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:52' |
| mysql2-relay-bin.000002 |  799 | Query          |     73306 |        1049 | BEGIN                                                              |
| mysql2-relay-bin.000002 |  871 | Table_map      |     73306 |        1100 | table_id: 109 (test.test1)                                         |
| mysql2-relay-bin.000002 |  922 | Write_rows     |     73306 |        1145 | table_id: 109 flags: STMT_END_F                                    |
| mysql2-relay-bin.000002 |  967 | Xid            |     73306 |        1176 | COMMIT /* xid=55 */                                                |
| mysql2-relay-bin.000002 |  998 | Gtid           |     73306 |        1241 | SET @@SESSION.GTID_NEXT= 'c29a1b76-77a0-11ee-a26a-000c2959421a:53' |
| mysql2-relay-bin.000002 | 1063 | Query          |     73306 |        1313 | BEGIN                                                              |
| mysql2-relay-bin.000002 | 1135 | Table_map      |     73306 |        1364 | table_id: 109 (test.test1)                                         |
| mysql2-relay-bin.000002 | 1186 | Write_rows     |     73306 |        1409 | table_id: 109 flags: STMT_END_F                                    |
| mysql2-relay-bin.000002 | 1231 | Xid            |     73306 |        1440 | COMMIT /* xid=63 */                                                |
+-------------------------+------+----------------+-----------+-------------+--------------------------------------------------------------------+
21 rows in set (0.00 sec)

可以发现备库的最后一条数据:

(1)事务ID:63;
(2)GTID=53
(3)END_LOG_POS=1440 相同。

3.总结

主从同步的判断依据是主库的binlog的最后一个事务:事务ID,GTID,END_LOG_POS 这三个值
和从库的relaylog 的最后一个事务的:事务ID,GTID,END_LOG_POS相同。
事务ID会随着事务的执行递增，GTID也会随着事务递增。

戒掉贪嗔痴(薛双奇)
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
mysql从库主库_MySql 主库/从库原理及实战
weixin_39937412的博客
01-18 673
主/从原理原理图从库生成两个线程，一个I/O线程，一个SQL线程；I/O线程去请求主库 的binlog，并将得到的binlog日志写到relay log(中继日志) 文件中；主库会生成一个 log dump 线程，用来给从库 I/O线程传binlog；SQL 线程，会读取relay log文件中的日志，并解析成具体操作，来实现主从的操作一致，而最终数据一致；用途及必要条件mysql主从复制用途实时...
MySQL 主库出问题了，从库怎么办？
ZHY_ERIC的博客
03-08 938
如图 1 所示，就是一个基本的一主多从结构。 图 1 一主多从基本结构 图中，虚线箭头表示的是主备关系，也就是 A 和 A’互为主备， 从库 B、C、D 指向的是主库 A。一主多从的设置，一般用于读写分离，主库负责所有的写入和一部分读，其他的读请求则由从库分担。 今天我们要讨论的就是，在一主多从架构下，主库故障后的主备切换问题。 如图 2 所示，就是主库发生故障，主备切换后的结果。 图 2 一主多从基本结构 -- 主备切换 相比于一主一备的切换流程，一主多从结构在切换完成......
数据库之架构：主备+分库？主从+读写分离？Mark一下
doubututou的博客
09-28 418
一、数据库架构原则 高可用 高性能 一致性 扩展性 二、常见的架构方案 方案一：主备架构，只有主库提供读写服务，备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb **高可用分析：**高可用，主库挂了，keepalive（只是一种工具）会自动切换到备库。这个过程对业务层是透明的，无需修改代码或配置。 **高性能分析：**读写都操作主库，很容易产生瓶颈。大部分互联网应用读多写少，读会先成为瓶颈，进而影响写性能。另外，备库只是单纯的备份，资源利用率50%，这点方案二可解决。
mysql从库比主库数据多_MySQL常见的主从复制错误有哪些？如何处理？
weixin_31235395的博客
01-30 764
目录想把MySQL有变更的数据分发到其他异构数据库，都有什么可选方案MySQL什么情况下DML操作不会记录binlog？MySQL中ANALYZE TABLE的作用是？生产上操作会有什么风险？MySQL生产中上亿数据大表怎么在线增加一个字段并设定默认值？MySQL表中有自增列id，但是表中的id列数据不连续，产生的可能原因是什么？如何定位造成MySQL慢的罪魁祸首慢SQL及分析优化思路？MySQL...
mysql 把从库切换主库_MySQL主从复制《主库已经有数据的解决方案（之亲自动手））》...
weixin_36041020的博客
01-19 1166
MySQL主从复制架构目前MySQL支持两种复制类型：1.传统方式：基于主库的bin-log将日志事件和事件位置复制到从库，从库再加以应用来达到主从同步的目的。2.Gtid方式(MySQL>=5.7推荐使用)：基于GTID的复制中，从库会告知主库已经执行的事务的GTID的值，然后主库会将所有未执行的事务的GTID的列表返回给从库，并且可以保证同一个事务只在指定的从库执行一次。MySQL复制有...
mysql 从库可以写入吗_mysql主从之热添加从库
weixin_31597759的博客
01-27 2869
为了尽量减少对业务的影响，使用从某台从库热拷贝数据的方法来添加从库。此种方法优点是比较快速。在运营环境选择闲时操作。添加从库的步骤0、新的从库安装好，不要启动和初始化数据，其数据和配置将从旧的从库复制过去1、将主库置于只读状态，不允许写入flush tables with read lock;#这步会影响业务，如果关系不大可执行。一般情况不能只开主库不开从库同步，因为应用层一般会去从库取数据，如...
mysql主从 添加从库服务器 主库服务器已有数据情况下
OceanWaves1993的博客
03-26 1601
waiting for more updates 表明本次同步信息已经接收完毕。其中master_log_file、master_log_pos 需要从主库查询获取；显示主库哪些线程正在运行,返回的结果是实时变化的;显示从库哪些线程正在运行,返回的结果是实时变化的;再次查看主从同步进程状态都是YES。查看主从同步进程状态都是NO。
mysql删除库后还原库操作系统_一次误删除MySQL主库的恢复操作
weixin_29102619的博客
01-26 816
背景：MySQL5.6.40，库比较小，row+gtid复制环境，但由于以前种种原因，备份还原在从库后，开启复制存在大量1062,1032错误，gtid卡在靠前位置。做复制的时候没有任何从库，每小时的备份也被运维停了。以前从来没遇到过这种情况，相对测试环境正式环境比较复杂，而且猜测可能是之前备份还原从来没用过备份一致性参数导致，并且发现错误也没有手工检查(这个问题还在研究中，有遇到并知道原因的小伙...
mysql 从库可以写入吗_mysql主从库配置读写分离以及备份
weixin_36293258的博客
01-19 2424
1，什么是读写分离？其实就是将数据库分为了主从库，一个主库用于写数据，多个从库完成读数据的操作，主从库之间通过某种机制进行数据的同步，是一种常见的数据库架构。一个组从同步集群，通常被称为是一个“分组”。2，数据库分组架构解决什么问题？大多数互联网业务，往往读多写少，这时候，数据库的读会首先称为数据库的瓶颈，这时，如果我们希望能够线性的提升数据库的读性能，消除读写锁冲突从而提升数据库的写性能，那么就...
mysql强制读主库命令_已经运行很久的mysql，搭建主从
weixin_28750663的博客
02-08 1000
1、(主库)修改/etc/my.cnf配置文件innodb_strict_mode=on#innodb 共享表空间设置innodb_file_per_table = 1innodb_data_home_dir = /var/lib/mysqlinnodb_data_file_path = ibdata1:6500M:autoextend#innodb 日志相关innodb_log_file_siz...
24.MySQL是怎么保证主备一致的？1
08-03
在正常情况下，客户端的读写操作都指向主库（状态1），而备库不断接收并执行主库的binlog，保持数据同步。在需要切换时，系统会转变为状态2，客户端的读写操作将转向备库，而原主库则成为新的备库。为了避免误操作和...
MySQL主从复制-主库已有数据的解决方案.docx
10-26
在 MySQL 主从复制中，主库可能已经运行了一段时间，并且已经有了数据，这种情况在实际业务中很常见。这时，如何应对开启主从复制前主库有数据的场景？本文将介绍两种解决方案，並详细介绍第二种方案的处理步骤。 ...
MySQL详解主从(主库升级).pdf
09-30
3. **全同步复制**：所有从库都完成写入后，主库才返回，提供最高的一致性，但可能影响性能。 **故障转移与恢复：** 1. **自动故障转移**：通过监控工具检测主库故障，自动将从库提升为主库，保证服务连续性。 2. *...
25.MySQL是怎么保证高可用的？1
08-03
主备复制是MySQL实现高可用的基础，通过将主库的事务日志(binlog)实时同步到备库并执行，以保持主备数据的一致性。这里有几个关键的概念： 1. **主备延迟**：主备延迟是指备库执行完一个事务的时间(T3)与主库完成该...
24MySQL是怎么保证主备一致的？.pptx
09-20
MySQL数据库在实现主备一致性方面采用了多种策略和技术，确保数据在主库和备库之间能够准确无误地复制。以下是一些关键知识点的详细说明： 1. **主备同步机制**： MySQL主备同步主要依赖于二进制日志（binlog）和...
MYSQL
maoqiwei的博客
07-23 243
1.修改student 表中年龄(sage)字段属性，数据类型由int 改变为smallint 2.为Course表中Cno 课程号字段设置索引,并查看索引 3.为SC表建立按学号(sno)和课程号(cno)组合的升序的主键索引，索引名为SC_INDEX4.创建一视图 stu info,查询全体学生的姓名，性别，课程名，成绩5.删除所有索引
MySQL字段设置的varchar长度小于数据长度自动截取丢弃超出的长度而不是报错？
weixin_43831997的博客
07-23 335
当MySQL数据库设置为==严格模式（STRICT_TRANS_TABLES 或 STRICT_ALL_TABLES）==时，如果尝试插入或更新超过设定长度的数据，将会导致错误，并阻止该事务进行。在默认情况下，或者在非严格模式（NO_STRICT）下，当插入长度超出 VARCHAR 字段定义的字符串时，MySQL会自动截断超出的部分，并发出一个警告，而不是错误。
Mysql (五)
qq_64410777的博客
07-23 509
以左边的表为基础，接收左表的所有行，以左表的记录与右表的记录进行匹配，匹配左表的所有，以及右表中符合条件的行，不符合的显示null值。表和列的别名 在实际工作中，表和列名可能很长，写起来不方便，如果需要多次声明表和列时，全部展示太复杂，设置别名使书写简化。这里只是判断，结果为空 则不执行 ，如果不为空则执行前面的 结果是7 只要不为空就是7 执行的是count(*)SELECT i.name 姓名,i.score 成绩 from info as i;
[Mysql-DML数据操作语句]
最新发布
2301_78794952的博客
07-23 1018
insert into student (sid,sname,birthday,ssex,classid) values(9,'张三','2007-1-1','男',1);insert into student(sname,ssex) values('某某1','男'),('某某2','女'),('某某3','男');insert into student values(9,'张三','2007-1-1','男',1);-- 将姓名为某某的生日改为1888-1-1。
配置mysql主从同步前，如何保证主库与从库的数据一致
06-10
1. 确保主库和从库的初始数据一致：在配置主从同步前，需要确保主库和从库的初始数据一致，可以通过导出主库数据并导入从库实现。 2. 停止写入操作：在配置主从同步时，应当暂停主库的写入操作，等待从库同步完成后...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值