MGR主从不一致问题排查与修复

最新推荐文章于 2022-11-15 22:53:19 发布
最新推荐文章于 2022-11-15 22:53:19 发布
阅读量548 收藏 1
点赞数
文章标签： 数据库
原文链接：http://www.cnblogs.com/ijia/p/10759174.html
版权

 

运行环境

linux：CentOS release 6.8 (Final)

kernel：2.6.32-642.6.2.el6.x86_64

mysql Server version: 5.7.21-20-log Percona Server (GPL)，MGR单主模式

1.故障现象

解析binlog

mysqlbinlog -v --base64-output=DECODE-ROWS mysql-bin.000042 --include-gtids='1bb1b861-f776-11e6-3319-010204058070:113111655'

1bb1b861-f776-11e6-3319-010204058070:113111655 该GTID的binlog内容 ycc01 与ycc03服务器内容一致

 　　

ycc01.prod.bj2 mysql_3319

SET @@SESSION.GTID_NEXT= '1bb1b861-f776-11e6-3319-010204058070:113111655'/*!*/;
# at 418534101
#190412 12:41:44 server id 58070 end_log_pos 418534182 Query thread_id=4163376 exec_time=0 error_code=0
SET TIMESTAMP=1555044104/*!*/;
BEGIN
/*!*/;
# at 418534182
#190412 12:41:44 server id 58070 end_log_pos 418534262 Table_map: `ycc_cfcenter`.`config_center_client_list` mapped to number 108
# at 418534262
#190412 12:41:44 server id 58070 end_log_pos 418534338 Delete_rows: table id 108 flags: STMT_END_F
### DELETE FROM `ycc_cfcenter`.`config_center_client_list`
### WHERE
### @1=380183102
### @2=206
### @3='10.1.97.131'
### @4='5566'
### @5=1555044043209
# at 418534338
#190412 12:41:44 server id 58070 end_log_pos 418534365 Xid = 604665111
COMMIT/*!*/;

ycc03.prod.bj2 mysql_3319

SET @@SESSION.GTID_NEXT= '1bb1b861-f776-11e6-3319-010204058070:113111655'/*!*/;
# at 747896436
#190412 12:41:44 server id 58070 end_log_pos 747896500 Query thread_id=4163376 exec_time=0 error_code=0
SET TIMESTAMP=1555044104/*!*/;
BEGIN
/*!*/;
# at 747896500
#190412 12:41:44 server id 58070 end_log_pos 747896580 Table_map: `ycc_cfcenter`.`config_center_client_list` mapped to number 108
# at 747896580
#190412 12:41:44 server id 58070 end_log_pos 747896656 Delete_rows: table id 108 flags: STMT_END_F
### DELETE FROM `ycc_cfcenter`.`config_center_client_list`
### WHERE
### @1=380183102
### @2=206
### @3='10.1.97.131'
### @4='5566'
### @5=1555044043209
# at 747896656
#190412 12:41:44 server id 58070 end_log_pos 747896683 Xid = 263747865
COMMIT/*!*/;

 

 

 mysqlbinlog -v --base64-output=DECODE-ROWS mysql-bin.000042 --include-gtids='1bb1b861-f776-11e6-3319-010204058070:113111656'

1bb1b861-f776-11e6-3319-010204058070:113111656 该GTID的binlog内容 ycc01 与ycc03服务器内容不一致

 

ycc01.db.prod.bj2 mysql_3319

SET @@SESSION.GTID_NEXT= '1bb1b861-f776-11e6-3319-010204058070:113111656'/*!*/;
# at 418534426
#190412 12:41:44 server id 58070 end_log_pos 418534507 Query thread_id=4163392 exec_time=0 error_code=0
SET TIMESTAMP=1555044104/*!*/;
BEGIN
/*!*/;
# at 418534507
#190412 12:41:44 server id 58070 end_log_pos 418534587 Table_map: `ycc_cfcenter`.`config_center_client_list` mapped to number 108
# at 418534587
#190412 12:41:44 server id 58070 end_log_pos 418534663 Delete_rows: table id 108 flags: STMT_END_F
### DELETE FROM `ycc_cfcenter`.`config_center_client_list`
### WHERE
### @1=380183123
### @2=136
### @3='10.1.94.137'
### @4='5566'
### @5=1555044044493
# at 418534663
#190412 12:41:44 server id 58070 end_log_pos 418534690 Xid = 604665114
COMMIT/*!*/;

ycc03.db.prod.bj2 mysql_3319
SET @@SESSION.GTID_NEXT= '1bb1b861-f776-11e6-3319-010204058070:113111656'/*!*/;
# at 747896744
#190412 12:41:44 server id 58070 end_log_pos 747896808 Query thread_id=4163376 exec_time=1 error_code=0
SET TIMESTAMP=1555044104/*!*/;
BEGIN
/*!*/;
# at 747896808
#190412 12:41:44 server id 58070 end_log_pos 747896888 Table_map: `ycc_cfcenter`.`config_center_client_list` mapped to number 108
# at 747896888
#190412 12:41:44 server id 58070 end_log_pos 747896964 Write_rows: table id 108 flags: STMT_END_F
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
### @1=380183774
### @2=206
### @3='10.1.97.131'
### @4='5566'
### @5=1555044104617
# at 747896964
#190412 12:41:44 server id 58070 end_log_pos 747896991 Xid = 263747869
COMMIT/*!*/;

 

2.原因排查

官方已经反馈社区版MySQL 5.7.26和MySQL 8.0.16 中会修复，如果是企业版客户可以申请最新的hotfix版本。

在未升级 MySQL 版本前，若再发生此类故障，在修复时需要人工检查，检查切换时binlog中 GTID 信息与新主节点对应 GTID 的信息是否一致。

如果不一致需要人工修复至一致状态，一致才可以将被踢出的原主节点加回集群。

参考文档

https://mp.weixin.qq.com/s/WuYRp2DU2uRq0vN-b29PPA?client=tim&ADUIN=190100183&ADSESSION=1555029984&ADTAG=CLIENT.QQ.5603_.0&ADPUBNO=26882

 

3.修复过程

3.1 确定故障点

查看故障节点error.log

error.log
2019 - 04 -12T12: 41 : 45.834694 + 08 : 00  3561943  [ERROR] Slave SQL  for  channel  'group_replication_applier' : Could not execute Write_rows event on table ycc_cfcenter.config_center_client_list; Duplicate entry ' 1
36 - 10.1 . 94.137 - 5566 ' for key ' uniq_idx_project_id ', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event' s master log FIRST, end_log_pos  327 , Error_code:  1062
2019 - 04 -12T12: 41 : 45.834713 + 08 : 00  3561943  [Warning] Slave: Duplicate entry  '136-10.1.94.137-5566'  for  key  'uniq_idx_project_id'  Error_code:  1062

查看故障节点当前GTID

故障节点当前GTID
SHOW MASTER STATUS
FILE               POSITION  Binlog_Do_DB  Binlog_Ignore_DB  Executed_Gtid_Set                                
----------------  ---------  ------------  ----------------  --------------------------------------------------
mysql-bin. 000042   747898223                                   1bb1b861-f776-11e6- 3319 - 010204058070 : 1 - 113111661

 

解析故障节点包含【1bb1b861-f776-11e6-3319-010204058070:1-113111661】 GTID 的binlog 
##mysqlbinlog -vvv relay-bin-group_replication_applier.000053 --include-gtids="1bb1b861-f776-11e6-3319-010204058070:113111661"

故障节点binlog解析
SET @ @SESSION .GTID_NEXT=  '1bb1b861-f776-11e6-3319-010204058070:113111661' /*!*/ ;
# at  703004277
# 190412  12 : 41 : 45  server id  58070   end_log_pos  81         Query   thread_id= 4163376        exec_time= 0      error_code= 0
SET TIMESTAMP= 1555044105 /*!*/ ;
BEGIN
/*!*/ ;
# at  703004358
# 190412  12 : 41 : 45  server id  58070   end_log_pos  161        Table_map: `ycc_cfcenter`.`config_center_client_list` mapped to number  108
# at  703004438
# 190412  12 : 41 : 45  server id  58070   end_log_pos  327        Write_rows: table id  108  flags: STMT_END_F
 
BINLOG '
' /*!*/ ;
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
###    @1 = 380183781  /* LONGINT meta=0 nullable=0 is_null=0 */
###    @2 = 206  /* LONGINT meta=0 nullable=1 is_null=0 */
###    @3 = '10.1.97.133'  /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###    @4 = '5566'  /* VARSTRING(90) meta=90 nullable=1 is_null=0 */
###    @5 = 1555044105821  /* LONGINT meta=0 nullable=1 is_null=0 */
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
###    @1 = 380183788  /* LONGINT meta=0 nullable=0 is_null=0 */
###    @2 = 136  /* LONGINT meta=0 nullable=1 is_null=0 */
###    @3 = '10.1.94.137'  /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###    @4 = '5566'  /* VARSTRING(90) meta=90 nullable=1 is_null=0 */
###    @5 = 1555044105821  /* LONGINT meta=0 nullable=1 is_null=0 */
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
###    @1 = 380183795  /* LONGINT meta=0 nullable=0 is_null=0 */
###    @2 = 206  /* LONGINT meta=0 nullable=1 is_null=0 */
###    @3 = '10.1.97.131'  /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###    @4 = '5566'  /* VARSTRING(90) meta=90 nullable=1 is_null=0 */
###    @5 = 1555044105821  /* LONGINT meta=0 nullable=1 is_null=0 */
# at  703004604
# 190412  12 : 41 : 45  server id  58070   end_log_pos  354        Xid =  604665142
COMMIT /*!*/ ;

解析主节点binlog 确定相同内容binlog event 对应的GTID值 
##mysqlbinlog -vvv mysql-bin.000042 --include-gtids="1bb1b861-f776-11e6-3319-010204058070:113111660-113111665'

主库binlog解析
SET @ @SESSION .GTID_NEXT=  '1bb1b861-f776-11e6-3319-010204058070:113111662' /*!*/ ;
# at  418536376
# 190412  12 : 41 : 45  server id  58070   end_log_pos  418536457          Query   thread_id= 4163376        exec_time= 0      error_code= 0
SET TIMESTAMP= 1555044105 /*!*/ ;
BEGIN
/*!*/ ;
# at  418536457
# 190412  12 : 41 : 45  server id  58070   end_log_pos  418536537          Table_map: `ycc_cfcenter`.`config_center_client_list` mapped to number  108
# at  418536537
# 190412  12 : 41 : 45  server id  58070   end_log_pos  418536703          Write_rows: table id  108  flags: STMT_END_F
 
BINLOG '
' /*!*/ ;
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
###    @1 = 380183781  /* LONGINT meta=0 nullable=0 is_null=0 */
###    @2 = 206  /* LONGINT meta=0 nullable=1 is_null=0 */
###    @3 = '10.1.97.133'  /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###    @4 = '5566'  /* VARSTRING(90) meta=90 nullable=1 is_null=0 */
###    @5 = 1555044105821  /* LONGINT meta=0 nullable=1 is_null=0 */
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
###    @1 = 380183788  /* LONGINT meta=0 nullable=0 is_null=0 */
###    @2 = 136  /* LONGINT meta=0 nullable=1 is_null=0 */
###    @3 = '10.1.94.137'  /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###    @4 = '5566'  /* VARSTRING(90) meta=90 nullable=1 is_null=0 */
###    @5 = 1555044105821  /* LONGINT meta=0 nullable=1 is_null=0 */
### INSERT INTO `ycc_cfcenter`.`config_center_client_list`
### SET
###    @1 = 380183795  /* LONGINT meta=0 nullable=0 is_null=0 */
###    @2 = 206  /* LONGINT meta=0 nullable=1 is_null=0 */
###    @3 = '10.1.97.131'  /* VARSTRING(300) meta=300 nullable=1 is_null=0 */
###    @4 = '5566'  /* VARSTRING(90) meta=90 nullable=1 is_null=0 */
###    @5 = 1555044105821  /* LONGINT meta=0 nullable=1 is_null=0 */
# at  418536703
# 190412  12 : 41 : 45  server id  58070   end_log_pos  418536730          Xid =  604665142
COMMIT /*!*/ ;

3.2 确定故障点结果汇总

1.故障节点提示 Duplicate entry '136-10.1.94.137-5566' for key 'uniq_idx_project_id'  有唯一约束冲突

2.故障节点当前GTID  【1bb1b861-f776-11e6-3319-010204058070:1-113111660】

3.故障节点与主节点GTID相差一个值，相同binlog event 主节点GTID【1bb1b861-f776-11e6-3319-010204058070:113111662】  故障节点【1bb1b861-f776-11e6-3319-010204058070:113111661】

 

3.3 故障节点修复过程

3.3.1 停止故障节点MGR服务
    STOP group_replication;
    SET GLOBAL super_read_only=0
3.3.2 删除冲突键数据
    DELETE FROM config_center_client_list WHERE project_id=136 AND client_ip='10.1.94.137' AND PORT=5566
3.3.3 清除故障节点GTID信息
    RESET MASTER 
3.3.4 重置故障节点GTID信息,故障节点因唯一约束冲突未重做的binlog event，在主节点对应的GTID为【1bb1b861-f776-11e6-3319-010204058070:113111662】。
    SET @@GLOBAL.GTID_PURGED='1bb1b861-f776-11e6-3319-010204058070:1-113111661';
    START group_replication;
    SHOW MASTER STATUS

3.3.5 在故障节点执行, 需要跳过的GTID只有一个,也可以用以下方法,这样就不需要reset masert。

STOP group_replication;
SET GLOBAL super_read_only=0
set sql_log_bin=0
DELETE FROM config_center_client_list WHERE project_id=136 AND client_ip='10.1.94.137' AND PORT=5566
set sql_log_bin=1
set session gtid_next="1bb1b861-f776-11e6-3319-010204058070:113111661"; 
begin;commit; 
set session gtid_next="AUTOMATIC"; 
START group_replication;

转载于:https://www.cnblogs.com/ijia/p/10759174.html

weixin_30621959
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MYSQL8.0 MGR数据不一致处理办法
qq_40454655的博客
04-07 759
MYSQL8.0 MGR数据不一致处理办法 重新启动的前提是数据要保持一致，否则后续还会因为数据不一致报错 在组复制重启之前先手动处理数据，保证数据一致。从库是只读的，手动同步数据的时候需要关闭只读的配置 修复mysql: super_read_only=OFF show global variables like "%read_only%"; set global read_only=on; set global super_read_only=on; 手动同步数据之后在正常的节点执行： sho
数据库学习日常案例20231130-2-MGR故障总结处理1-13
最新发布
oradbm的博客
11-30 283
MGR集群故障，大多数处于offline状态，如三个节点中2个或3个节点处于offline状态，集群不可用故障修复：1 三个MySQL节点依次执行如下命令，停止组复制 stop group_replication;2 然后依次启动每个节点的组复制# 第一个节点执行如下：# 后面两个节点再依次启动组复制# 查看组复制状态。
MySQL主从数据不一致，怎么办？
Daniel的博客
11-15 5252
先给大家说个身边的故事。小伙伴二狗最近面宇宙厂，前面被问MySQL索引、锁、主从复制原理时答的都很开心。当面试官问到：“你们遇到主从不一致的问题怎么解决呢？你有什么更好的方案吗？”二狗懵了。不就是读写时候走主，纯读走从吗。。难道还有什么别的办法？面试官：emmm……有。那我们换个问题，主从复制的方式有几种，你能讲讲吗？二狗：…… 问到盲点了面试官：答不上来没关系，您的情况我基本了解了。感谢您参加...
mgr未同步 mysql_MySQL MGR如何修复数据不一致的节点
weixin_39980929的博客
12-18 385
1.在当前主节点创建全量备份(MySQLdump或xtrabackup)：# /usr/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --password='xxxx' /data/backup2.停止故障实例的MySQL# mysqladmin -uroot -p shutdown3.清空当前数据目录备注：清空前备份一下4.恢...
mysql mgr数据不一致_MGR主从不一致问题排查与修复
weixin_39929723的博客
01-28 624
运行环境linux：CentOS release 6.8 (Final)kernel：2.6.32-642.6.2.el6.x86_64mysql Server version: 5.7.21-20-log Percona Server (GPL)，MGR单主模式1.故障现象解析binlogmysqlbinlog -v --base64-output=DECODE-ROWS mysql-bin.0...
万里数据库MGR Bug修复之路 - 娄帅
06-23
MySQL 8.0 MGR Bug修复之路
基于MGR的强一致性数据库介绍.pptx
10-14
基于MGR的强一致性数据库介绍.pptx
MySQL、MySQL主从、MySQL-cluster、mgr、mha、读写分离.zip
06-20
文档内容：概念、二进制安装MySQL、对库的操作、对表的操作、表结构操作、表的插入、修改和删除记录、约束、查询、条件查询、函数、分组...以及高级应用的MySQL主从架构、读写分离、cluster集群、mgr集群、MHA高可用。
mgr.rar_MGR
09-24
是清华出版的Mysql经典中的一篇例子，关于后台开发，除了数据库之外，其它程序全部列出
mysql mgr 强制同步_MYSQL MGR的一致性读设置
weixin_42131367的博客
02-01 911
MySQL 8.0.14版本增加了一个新特性：MGR读写一致性；有了此特性，“妈妈”再也不用担心读MGR非写节点数据会产生不一致啦。有同学会疑问：“MGR不是’全同步’么，也会产生读写不一致？”，在此肯定的告诉大家MGR会产生读写不一致，原因如下：MGR相对于半同步复制，在relay log前增加了冲突检查协调，但是binlog回放仍然可能延时，也就是跟我们熟悉的半同步复制存在io线程的回放延迟情...
MySQL MGR如何修复数据不一致的节点
csd753111111的博客
07-18 982
1.在当前主节点创建全量备份(mysqldump或xtrabackup)： # /usr/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --pas...
MGR单主多主模式的核心关键点-MGR多主模式环境搭建
Linux_Enjoyer的博客
02-06 2649
推荐看一下mysql官方对于组复制的说明，用chrome翻译下看吧 https://dev.mysql.com/doc/refman/5.7/en/group-replication.html 以下言论均是本人实际测试上百次的结果。 官方的单主模式是啥：比多主多一个选举程序，第一次引导开启集群的为主，后加入的为追随者（也可以叫从机Slave），只有住的有读写权限，别的追随者在加入组的时候
mgr未同步 mysql_MGR状态监控：基础篇
weixin_42311427的博客
12-22 779
作者 张彦东 · 沃趣科技数据库工程师出品 沃趣科技01 概述Perfomance Schema库下的几张表记录了MGR集群的状态信息，可以通过监控下表的信息来获得集群的状态信息:performance_schema.replication_group_member_stats#记录节点各自同步数据的状态信息performance_schema.replication_grou...
GreatSQL，打造更好的MGR生态
老叶茶馆
04-01 447
用GreatSQL，上MGR更放心！P.S，文末有彩蛋，别错过 ：）在3月20日「3306π」社区成都站分享会上，万里数据库CTO娄帅做了主题分享《MGR Bug修复之路》。娄帅指出，由于...
MGR基本使用
热门推荐
十五十六
04-17 2万+
第一章：MGR介绍 MGR(MySQL Group Replication)是一个MySQL Server插件，可用于创建弹性，高可用MySQL集群方案。有一个内置的组成员服务，在任何给定的时间点,保持组的视图一致并可供所有服务器使用。服务器可以离开并加入组，视图也会相应更新。当成员离开组，故障检测机制会检测到此情况并通知组视图已更改。 1.1传统的数据主从复制 1.1.1主从复制 传统的数据主...
--MYSQL MGR 崩溃后的修复和问题查找
sql server的专栏
09-09 717
MYSQL 的 GROUP REPLICATION 估计大多数的公司都没有用，即使用也不是在主要的项目和关键的地方。所以网上相关MYSQL Group Replicaiton 的的修复...
MySQL MGR数据一致性关键参数group_replication_consistency
雪辉博客
09-08 1196
  group_replication_consistency是MySQL 8.0.14为解决MGR中一致性读提供的参数，可以在全局或单个事务中进行配置。分为以下5种可选值： EVENTUAL：   RO和RW事务执行前不会等待先序事务的回放完成，也不会影响后序事务等待该事务回放完成，只需要在超过半数节点冲突检测通过以后即可提交；RW事务不等待其他成员完成应用事务，意味着事务可以在其他成员完成之前外部化。这就可能在在主库发生故障转移的情况下，新主数据库可以在先前的主要事务完成全部应用之前就开始接受新的RO
mysql mgr监控_MGR监控报警
weixin_34740753的博客
01-21 598
一、报警思路m.conf文件记录配置信息，只需要修改这个文件的内容即可(需要将mysql_stat.sh里面的信息写到这里，进行中)mysql_stat.sh文件作为MGR状态监测脚本，加入定时任务每分钟执行send_mail.py文件作为报警发送脚本，一旦MGR状态不正常则mysql_stat.sh会调用send_mail.py脚本发送邮件由于MGR状态非ONLINE时，无法检测其他MGR节点是...
[MGR-Mysql的组复制集群]详细搭建部署过程
shilukun的博客
09-12 928
[MGR-Mysql]的组复制集群]详细搭建部署过程  author：石鲁坤 1，关于MySQL Group Replication   基于组的复制（Group-basedReplication）是一种被使用在容错系统中的技术。Replication-group（复制组）是由能够相互通信的多个服务器（节点）组成的。   在通信层，Groupreplication实现了一系列的机制：比如原子消...
mysql mgr主从
08-22
组复制支持一主多从、多级主从、互为主从、多主多从等主从架构模式。常见的MySQL集群方案包括MMM、MHA和MGR。MySQL组复制基于常规的MySQL复制，并利用了基于行格式的二进制日志和GTID等特性。它的整体框架图包括多个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值