MYSQL主库切换binlog模式后主从库同步错误的问题

MYSQL主库切换binlog模式后主从同步错误_flink

在使用FlinkSQL的mysql-cdc连接器来监听MySQL数据库时，通常需要将MySQL的binlog模式设置为ROW模式。然而，在实际项目中，可能会遇到如下问题：

当我们将MySQL主库的binlog模式从STATEMENT切换为ROW并重启MySQL服务后，MySQL从库在同步时可能会报错，错误信息如下：

Could not execute Update_rows event on table ddz.ddz_mlfl; 
Can't find record in 'ddz_mlfl', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; 
the event's master log ddzmysql-bin.002729, end_log_pos 801362189
  • 1.
  • 2.
  • 3.

这个错误表示在执行Update_rows事件时，找不到目标记录，具体错误代码为1032，对应的处理器错误为HA_ERR_KEY_NOT_FOUND。这是因为在切换binlog模式后，主从库之间的数据可能不一致。

错误原因分析

MySQL主库的binlog模式分为STATEMENT、ROW和MIXED三种：

  • STATEMENT模式：记录的是每一条SQL语句。
  • ROW模式：记录的是每一行数据的变更。
  • MIXED模式：结合了STATEMENT和ROW模式，通常根据具体情况自动选择。

在从STATEMENT模式切换到ROW模式时，可能会因为以下原因导致从库同步失败：

  1. 数据不一致：在切换binlog模式并重启主库后，主库和从库之间可能存在数据不一致的情况。ROW模式下，每一行的变化都会记录在binlog中，而STATEMENT模式下则只记录SQL语句的执行。因此，切换模式后，从库在应用ROW格式的binlog事件时，可能找不到相应的记录。
  2. 日志不一致：STATEMENT模式和ROW模式记录的日志格式不同，切换模式后可能会导致日志解析错误。
  3. 从库延迟：从库在同步主库的数据时，可能会出现延迟。如果在切换模式的过程中，主库进行了大量数据修改操作，从库未能及时同步，导致数据不一致。
  4. 应用binlog事件失败：从库在应用ROW格式的binlog事件时，可能因为某些原因（如主键冲突、索引问题等）而无法正确应用，从而导致找不到记录的错误。

解决方案

为了解决上述问题，可以按照以下步骤操作：

1. 确保主从库数据一致

在切换binlog模式之前，确保主从库数据完全一致，可以通过以下方式操作：

  • 停止写操作：在切换模式前，停止所有写操作，确保数据不再变化。
  • 完全同步：确保主库的所有数据已经完全同步到从库，执行以下命令检查同步状态：
SHOW SLAVE STATUS;
  • 1.
2. 切换binlog模式

在确保数据一致后，按照以下步骤切换binlog模式：

  1. 停止从库同步：
STOP SLAVE;
  • 1.
  1. 切换主库binlog模式：
SET GLOBAL binlog_format = 'ROW';
  • 1.
  1. 重启MySQL主库，以确保配置生效：
service mysql restart
  • 1.
  1. 启动从库同步：
START SLAVE;
  • 1.
3. 重建从库

如果在切换模式后依然报错，建议重建从库：

  1. 停止从库：
STOP SLAVE;
  • 1.
  1. 重新备份主库数据，并导入到从库：
mysqldump -u root -p --all-databases --single-transaction --master-data > backup.sql
mysql -u root -p < backup.sql
  • 1.
  • 2.
  1. 重新配置从库同步，确保从库的master_log_file和master_log_pos与主库一致：
CHANGE MASTER TO MASTER_HOST='master_ip',
MASTER_USER='replication_user', 
MASTER_PASSWORD='replication_user_password',
MASTER_LOG_FILE='recorded_log_file', 
MASTER_LOG_POS=recorded_log_position;
START SLAVE;
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
4. 跳过异常错误

跳过报错是以上方法都解决不了不得已使用的。

  1. 跳过指定错误代码
    在从服务器，编辑 /etc/my.cnf：
[mysqld]
 slave-skip-errors=1032,1033
  • 1.
  • 2.
  1. 跳过所有错误
    在从服务器，编辑 /etc/my.cnf:
[mysqld]
 slave-skip-errors=all
  • 1.
  • 2.
  1. 重启mysql从库服务
service mysqld restart
  • 1.

总结

在使用FlinkSQL的mysql-cdc连接器监听MySQL数据库时，确保binlog模式为ROW是必要的。但在切换binlog模式时，需要特别注意主从库的数据一致性和同步状态。