数据库主从复制

已于 2024-07-12 16:48:33 修改
阅读量1.1k 收藏 24
点赞数 29
文章标签： 数据库
于 2024-07-04 19:24:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56770318/article/details/140176374
版权

目录

一.主从复制架构

二.主从复制原理

三.实现主从复制配置

1.新建主从复制

2.实战遇到问题

3.复制错误解决方法

4.级联 主从复制

5.半同步复制

MySQL数据库的主从复制（Master-Slave Replication）是一种常见的数据库复制架构，用于提高数据库的可用性、可靠性和性能。

一.主从复制架构

在MySQL主从复制中，通常涉及以下几个角色：

  1. 主服务器（Master）：

    • 主服务器是数据库的主要写入节点。
    • 所有的写操作（INSERT、UPDATE、DELETE）以及数据定义语言（DDL）语句（如CREATE TABLE、ALTER TABLE）都在主服务器上执行。
    • 主服务器将其执行的所有变更记录到二进制日志（Binary Log）中。

  2. 从服务器（Slave）：

    • 从服务器是主服务器的备份节点，用于读操作和备份。
    • 从服务器从主服务器上的二进制日志复制数据变更，并将这些变更应用到自己的数据副本中。
    • 从服务器可以用于读取查询操作，从而减轻主服务器的负载。

  3. 二进制日志（Binary Log）：

    • 主服务器记录所有变更操作的详细信息到二进制日志中。
    • 从服务器通过读取主服务器的二进制日志来获取主服务器上发生的数据变更。

二.主从复制原理

1主节点负责用户的写操作，用户发起写操作后，会修改数据库
2.数据库修改后，会更新主节点上的二进制日志

4.从服务器会开启io线程，主动请求与主服务器同步
3.主服务器会产生一个  dump线程， 一边读取二进制日志一边将二进制日志通过 网络传给从服务器
5 io线程会将主服务器的二进制日志写入从服务器的中继日志，这时只是生成了一个文件，并没有同步
6.从服务器再开启  sql线程将 中继日志中  操作写入数据库完成更新

主从复制相关线程

dump Thread：为每个Slave的I/O Thread启动一个dump线程，用于向其发送binary log events从节点

I/O Thread：向Master请求二进制日志事件，并保存于中继日志中

SQL Thread：从中继日志中读取日志事件，在本地完成同步

跟复制功能相关的文件：

master.info：用于保存slave连接至master时的相关信息，例如账号、密码、服务器地址等

relay-log.info：保存在当前slave节点上已经复制的当前二进制日志和本地relay log日志的对应关系

mysql-relay-bin.00000#: 中继日志,保存从主节点复制过来的二进制日志,本质就是二进制日志

中继日志 （relay log）只在主从服务器架构的从服务器上存在。从服务器（slave）为了与主服务器（Master）保持一致，要从主服务器读取二进制日志的内容，并且把读取到的信息写入本地的日志文件中，这个从服务器本地的日志文件就叫中继日志。然后，从服务器读取中继日志，并根据中继日志的内容对从服务器的数据进行更新，完成主从服务器的数据同步。

主从复制（Master-Slave Replication）是数据库中常见的一种复制方式，其主要特点包括：

  1. 数据复制: 主从复制是将一个数据库（主数据库）的数据复制到一个或多个其他数据库（从数据库）的过程。主数据库的更新操作（写操作）会被记录并同步到所有从数据库上，从而保持数据的一致性。

  2. 异步复制: 典型的主从复制是异步进行的，即主数据库执行写操作后，并不等待所有从数据库都接收并应用该操作，而是立即返回给客户端。从数据库在稍后的时间点异步地从主数据库获取更新，并应用到自己的数据集上。

  3. 读写分离: 主从复制可以实现读写分离，即主数据库负责处理写操作（写入数据），而从数据库负责处理读操作（读取数据）。这种架构可以有效分担主数据库的读写压力，提高整体性能。

  4. 容灾和备份: 通过主从复制可以实现数据的容灾备份。如果主数据库发生故障，可以快速切换到某个从数据库继续提供服务，从而保证系统的可用性和持久性。

  5. 分布式数据: 主从复制可以用于在不同地理位置的数据库之间同步数据，从而实现分布式数据管理和协作。

  6. 延迟复制: 由于主从复制是异步的，从数据库上的数据更新可能会有一定的延迟，这取决于网络延迟、主从数据库的负载等因素。因此，在某些情况下需要考虑到延迟带来的数据一致性问题。

复制需要考虑二进制日志事件记录格式

  • STATEMENT（5.0之前）, Mariadb5.5 默认使用此格式

  • ROW（5.1之后，推荐）,MySQL 8.0 默认使用此格式

  • MIXED: Mariadb10.3 默认使用此格式

三.实现主从复制配置

官网参考

https://dev.mysql.com/doc/refman/8.0/en/replication-configuration.html
https://dev.mysql.com/doc/refman/5.7/en/replication-configuration.html
https://dev.mysql.com/doc/refman/5.5/en/replication-configuration.html
https://mariadb.com/kb/en/library/setting-up-replication/

1.新建主从复制

主服务器：192.168.240.11

从服务器：192.168.240.14

（1）主从服务器关闭防火墙和selinux

systemctl stop firewalld
setenforce  0

（2）主从复制主服务器配置

#开启二进制日志
vim  /etc/my.cnf
[mysqld]
server-id=11
log-bin=/data/mysql/mysql-bin

mkdir  -p /data/mysql
chown  -R mysql.mysql  /data 
systemctl restart  mysqld

（3）从服务器配置

#开启二进制日志
vim  /etc/my.cnf
[mysqld]
server-id=14
log-bin=/data/mysql/mysql-bin
#read only  #只读可加
mkdir  -p /data/mysql
chown  -R mysql.mysql  /data 
systemctl restart  mysqld

（4）主服务器登录数据库，新建同步用户

grant replication slave on *.* to cxk@'%' identified by 'Admin@123';
#新建用户，同时授权用户，mysql 8.0 以上需要分开写
show master status;   #查看同步文件和 同步的位置

（5）从服务器登录数据库，添加主的信息

help change master to;
#查看帮助信息，复制信息并修改
CHANGE MASTER TO
  MASTER_HOST='192.168.240.11',
  MASTER_USER='cxk',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=436;

（6）开启io线程和sql线程，查看服务器状态

start slave;#开启io线程 以及sq| 线程
show processlist;#看到进程列表
show slave status\G; # 查看从服务器状态

（7）测试主从复制

在主服务器上新建zxy库，查看从服务器有没有同步
create  database  zxy;
show databases;

从服务器
show databases;

2.实战遇到问题

假设主节点的数据库已经运行了一段时间，产生了一定量的数据，主从复制只能复制开启后数据，那之前的数据如何处理？

主服务器：192.168.240.11

从服务器：192.168.240.14

 （1）主从服务器关闭防火墙和selinux

systemctl stop firewalld
setenforce  0

（2）主从复制主节点配置

导入hellodb数据库

mysql  -uroot -p123123  <  /opt/hellodb_innodb.sql
#开启二进制日志
[root@localhost ~]#vim  /etc/my.cnf
server-id=11
log-bin=/data/mysql/mysql-bin
[root@localhost ~]# mkdir  -p  /data/mysql/binlog
[root@localhost ~]# chown mysql.mysql /data/  -R
[root@localhost ~]# systemctl  restart  mysqld

mysqldump -uroot -p123123 -A -F --master-data=1  --single-transaction > /data/all.sql

（3）从服务器上配置

[root@localhost ~]#vim  /etc/my.cnf
server-id=14
log-bin=/data/mysql/mysql-bin
#read only  #只读可加
mkdir  -p  /data/mysql/binlog
chown mysql.mysql /data/  -R
systemctl  restart  mysqld

 （4）主服务器登录数据库，新建同步用户

grant replication slave on *.* to cxk@'%' identified by 'Admin@123';
#新建用户，同时授权用户，mysql 8.0 以上需要分开写
scp -r /data/all.sql   192.168.240.14:/opt
#将完全备份文件拷贝到从服务器上

（5）从服务器上编辑从主服务器拷贝的完全备份文件

[root@localhost ~]# vim  /opt/all.sql
#  找到    CHANGE MASTER TO  的行修改如下
CHANGE MASTER TO
  MASTER_HOST='192.168.240.11',
  MASTER_USER='cxk',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=154;

#由于之前再备份的时候加入了    --master-data=1 选项    就添加了主从复制的选项000002文件的154位置往后开始主从复制
#000002文件154位置之前的  配置由  备份文件自行实现

（6）进入数据库关闭二进制日志导入完全备份数据库

mysql  -uroot -p123123
set sql_log_bin=0;
source /opt/all.sql ;
start  slave;
show slave status\G;

（7）查看数据库

3.复制错误解决方法

可以在从服务器忽略几个主服务器的复制事件，此为global变量，或指定跳过事件的ID

#系统变量，指定跳过复制事件的个数
SET GLOBAL sql_slave_skip_counter = N
#服务器选项，只读系统变量，指定跳过事件的ID
[mysqld]
slave_skip_errors=1007|ALL  

复制冲突的解决

create table info (id int,name char(10),age char(10));
#先在从上建表

#再在主上建表  插入信息
create table info (id int,name char(10),age char(10));
insert info values(1,'a',10);
#此时报错 从主机会报错
show  slave  status\G
#可以跳过错误
stop slave;
set global sql_slave_skip_counter=1;
start slave;
#方法2
vim /etc/my.cnf.d/mariadb-server.cnf
[mysqld]
slave_skip_errors=1007|ALL 
#systemctl restart mysqld

 更换主从

reset slave  all;
#清空主从配置

4.级联 主从复制

需要在中间的从服务器启用以下配置 ，实现中间slave节点能将master的二进制日志在本机进行数据库更新，并且也同时更新本机的二进制，从而实现级联复制

主服务器：192.168.240.11

中间节点：192.168.240.12

从节点1：192.168.240.13

从节点2：192.168.240.14

 （1）主从服务器关闭防火墙和selinux

systemctl stop firewalld
setenforce  0

（2）主服务器配置

#开启二进制日志
[root@localhost ~]#vim  /etc/my.cnf
server-id=11
log-bin=/data/mysql/mysql-bin
[root@localhost ~]# mkdir  -p  /data/mysql/binlog
[root@localhost ~]# chown mysql.mysql /data/  -R
[root@localhost ~]# systemctl  restart  mysqld
select @@server_id;
#可以查看serverid  默认都是1
show master status;
#查看二进制日志位置
grant replication slave on *.* to cxk@'%' identified by 'Admin@123';

（2）中间节点

root@localhost ~]#vim  /etc/my.cnf
#修改文件
[mysqld]
server_id=12
log-bin=/data/mysql/mysql-bin
relay-log=relay-log-bin
relay-log-index=slave-relay-bin.index
log_slave_updates
#read-only  #只读可加
[root@localhost ~]#mkdir /data/mysql/   -p
#建立文件夹
[root@localhost ~]#chown mysql.mysql /data/ -R
#注意修改权限
[root@localhost ~]#systemctl restart mysqld

下面修改配置 命令较长可以使用帮助
help change master to
CHANGE MASTER TO
  MASTER_HOST='192.168.240.11',
  MASTER_USER='cxk',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000003',
  MASTER_LOG_POS=436;

start slave;
#开启线程，开启主从复制
show slave status\G;
#查看设置的状态

show master logs;
#查看  从节点的复制位置

grant replication slave on *.* to cxk@'%' identified by 'Admin@123';
创建用户，用于连接数据库

（3）从节点1

[root@localhost ~]#vim  /etc/my.cnf
server-id=13
log-bin=/data/mysql/mysql-bin
#read only  #只读可加
mkdir  -p  /data/mysql/binlog
chown mysql.mysql /data/  -R
systemctl  restart  mysqld

help change master to;
CHANGE MASTER TO
  MASTER_HOST='192.168.240.12',
  MASTER_USER='cxk',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=154;
 
show slave status\G;
#查看设置的状态
Seconds_Behind_Master: NULL    #目前数据差

start slave;
#开启线程，开启主从复制
show slave status\G;

（4）从节点2

[root@localhost ~]#vim  /etc/my.cnf
server-id=14
log-bin=/data/mysql/mysql-bin
#read only  #只读可加
mkdir  -p  /data/mysql/binlog
chown mysql.mysql /data/  -R
systemctl  restart  mysqld

help change master to;
CHANGE MASTER TO
  MASTER_HOST='192.168.240.12',
  MASTER_USER='cxk',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=154;
 
show slave status\G;
#查看设置的状态
Seconds_Behind_Master: NULL    #目前数据差

start slave;
#开启线程，开启主从复制
show slave status\G;

 

（5）测试

5.半同步复制

默认情况下，MySQL的复制功能是异步的，异步复制可以提供最佳的性能，主库把binlog日志发送给从库即结束，并不验证从库是否接收完毕。这意味着当主服务器或从服务器端发生故障时，有可能从服务器没有接收到主服务器发送过来的binlog日志，这就会造成主服务器和从服务器的数据不一致，甚至在恢复时造成数据的丢失

实战测试

主服务器：192.168.240.11

从服务器1：192.168.240.12

从服务器2：192.168.240.14

（1）主服务器

[root@localhost ~]#vim  /etc/my.cnf
#修改文件
[mysqld]
server_id=11
log-bin=/data/mysql/mysql-bin
rpl_semi_sync_master_enabled=ON
rpl_semi_sync_master_timeout=3000
#修改此行,需要先安装semisync_master.so插件后,再重启,否则无法启动 开启半同步
#设置3s内无法同步，也将返回成功信息给客户端

[root@localhost ~]#mkdir /data/mysql/   -p
#建立文件夹
[root@localhost ~]#chown mysql.mysql /data/ -R
#注意修改权限
[root@localhost ~]#mysql -uroot -p123123

mysql>INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; #永久安装插件
mysql>UNINSTALL PLUGIN rpl_semi_sync_master ;#卸载
mysql>SET GLOBAL rpl_semi_sync_master_enabled=1; #临时修改变量
mysql>SET GLOBAL rpl_semi_sync_master_timeout = 3000;  #超时长1s,默认值为10s

[root@localhost ~]#systemctl restart mysqld
进入数据库
SHOW GLOBAL VARIABLES LIKE '%semi%';查看半同步状态
grant replication slave on *.* to test@'192.168.91.%' identified by 'Admin@123';

（2）从服务器1

INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
#安装插件
[root@slave1 ~]#vim /etc/my.cnf
[mysqld]
server-id=12
rpl_semi_sync_slave_enabled=ON #修改此行,需要先安装semisync_slave.so插件后,再重启,否则无法启动
help change master to;
#查看帮助，复制修改
CHANGE MASTER TO
  MASTER_HOST='192.168.240.11',
  MASTER_USER='test',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000003',
  MASTER_LOG_POS=592;

start slave;
show global status like '%semi%';查看状态

（3）从服务器2

INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
#安装插件
[root@slave1 ~]#vim /etc/my.cnf
[mysqld]
server-id=14
rpl_semi_sync_slave_enabled=ON #修改此行,需要先安装semisync_slave.so插件后,再重启,否则无法启动
help change master to;
#查看帮助，复制修改
CHANGE MASTER TO
  MASTER_HOST='192.168.240.11',
  MASTER_USER='test',
  MASTER_PASSWORD='Admin@123',
  MASTER_PORT=3306,
  MASTER_LOG_FILE='mysql-bin.000003',
  MASTER_LOG_POS=592;

start slave;
show global status like '%semi%';查看状态

（4）测试

当将从服务器2，关闭主从复制时

在主上创建cxk数据库时，主没有延迟，

当两台从服务器都关闭主从复制时

在主上创建cxk1数据库时，主有延迟3秒

当再次开启从服务器时

从服务器上数据同步

可以使用     show slave status\G;   #查看设置的状态

Seconds_Behind_Master: NULL    #目前数据差

故苏呦
关注
  • 29
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL主从
l13409694969的博客
05-12 238
MySQL主从 主从简介 在现代企业中，数据显得尤为重要，而存储数据的数据库选择又五花八门，但无论是何种数据库，均存在着一种隐患。 想几个问题： 用一台数据库存放数据，若此数据库服务器宕机了导致数据丢失怎么办？ 业务量大了，数据多了，访问的人多了，一台数据库无法保证服务质量了怎么办？ 主从作用 实时灾备，用于故障切换 读写分离，提供查询服务 备份，避免影响业务 主从形式 一主一从 主主复制 一主多从—扩展系统读取的性能，因为读是在从库读取的 多主一从—5.7开始支持 联级复制 主从复制原理
MySQL主从复制与读写分离
ItookapillinNJ的博客
04-26 432
时间同步 主 yum install -y ntp
MySQL主从复制作用和原理
xiaobao5214的博客
03-12 749
一、什么是主从复制? 主从复制，是用来建立一个和主数据库完全一样的数据库环境，称为从数据库；主数据库一般是准实时的业务数据库。 二、主从复制的作用（好处，或者说为什么要做主从）重点! 1、做数据的热备，作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。 2、架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率...
MySQL数据库的主从复制介绍及操作步骤
最新发布
u010303355的博客
05-09 1542
设置两个库,主库和读库,主库的职能是负责写,从库主要是负责读,可以建立读库集群,通过读写职能在数据源上的隔离达到减少读写冲突、释压数据库负载、保护数据库的目的。在实际的使用中,凡是涉及到写的部分直接切换到主库，读的部分直接切换到读库，这就是典型的读写分离技术；在读写分离中，主数据库和从数据库保持数据库结构的一致,主库负责写,当写入数据的时候,会自动同步数据到从数据库；如果Slave_IO_Running和Slave_SQL_Running的值都为“YES”，则表示从服务器已经成功连接到主服务器并开始复制。
数据库的主从复制
weixin_55769892的博客
08-05 150
缺点：最后都显示俩个yes却主库执行后只能同步随机的一个库 仅完成基础内容。如果数据库不为空，要先进行备份，在从库进行恢复。保证主从数据库一致。 2、主从服务器进行时间同步操作 3、关闭防火墙、关闭SeLinunx 4、克隆的机器最好先修改为不同的server-uuid,否则会出现错误。
linux数据库主从复制
12-22
MySQL主从复制优点 1、横向扩展解决方案 - 在多个从站之间分配负载以提高性能。在此环境中，所有写入和更新都必须在主服务器上进行。但是，读取可以在一个或多个从设备上进行。该模型可以提高写入性能（因为主设备专...
MySQL数据库主从复制架构
01-19
本文进一步分析引入从库后需要保证主从的数据一致性需要考虑哪些方面。... 　主从复制的场景下，产生数据不一致的现象有两种： 　1、数据丢失 　2、数据重复 　从库的 I/O Thread 是通过网络读取主库的 binlo
MYSQL数据库主从复制高可用技术改造环境部署方案
10-24
MYSQL数据库主从复制高可用技术改造环境部署方案。。。
MySQL数据库主从复制技术应用实战（阶段二）
06-09
MySQL数据库主从复制技术是数据库高可用性和负载均衡的重要手段，尤其在大型互联网服务和企业信息系统中广泛应用。在“MySQL数据库主从复制技术应用实战（阶段二）”中，我们将深入探讨这一关键技术，以帮助学员全面...
Mysql数据库主从复制部署详解
12-14
MySQL数据库主从复制是一种常见的高可用性和数据冗余策略，它允许数据在多个服务器之间实时同步，从而确保数据的安全性和系统的稳定性。以下是主从复制的详细步骤和相关知识点： 1. **目的**： - 提高系统稳健性：...
数据库-主从复制
m0_46289868的博客
01-26 367
原理作用详解 MySQL集群高可用架构 MySQL主从架构 特点：成本低，布置快速，方便；读写分离；可以通过及时增加从库减少读库压力；主库单点故障；数据一致性问题 MySQL+DRDB架构 通过DRBD基于block块的复制模式，快速进行双主故障切换，很大程度上解决主库单点故障问题 架构特点： 1、高可用软件可使用Heartbeat,全面负责VIP、数据与DRBD服务的管理 2、主故障后可自动快速切换，并且从库仍然能通过VIP与新主库进行数据同步 3、从库也支持读写分离，可使用中间件或程序实现 MySQ
配置mysql5.5主从复制数据库集群
chris_zqw的博客
08-31 319
一、安装MySQL 说明：在两台MySQL服务器192.168.21.169和192.168.21.168上分别进行如下操作，安装MySQL 5.5.22  二、配置MySQL主服务器（192.168.21.169） mysql  -uroot  -p    #进入MySQL控制台 create database osyunweidb;   #建立数据库osyunweidb
MySQL数据库主从复制
西木风落
10-11 726
数据复制原理 Master将改变记录到二进制日志(binary log)中，Slave将Master的二进制日志文件拷贝到它的中继日志(relay log)，Slave重做中继日志(relay log)中的事件。那么，Master的变化，Slave也会变化，这样就是所谓的MYSQL的复制，即MYSQL replication。 值得注意的是，通过上面的机制，可以保证Master和Slave的数
Mysql主从复制
弥生的博客
03-25 187
Mysql主从复制 安装时间服务器一般系统自带 修改时间时间服务器主配置文件 restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap server 127.127.1.0 fudeg 127.127.1.0 stratum 8 启动时间服务器 测试 安装mysql 配置 cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DDEFAUL T_CHARSET=..
数据库的主从复制操作简单
weixin_47561724的博客
04-13 169
mariadb数据库 本次实验用三台服务器做测试 1.主用数据库（master）：192.168.1.65 2.备用数据库（slave）：192.168.1.66 3.备用数据库（slave）：192.168.1.67 安装完成数据库并初始化后启动起来； 安装数据库： yum install mariadb-server 初始化数据库： mysql_secure_installation 启动数据库： systemctl start mariadb ##查看数据库端口## netstat -anp
MySQL数据库实现主从复制
夜雨飘零
07-06 5335
我们用的在这篇文章《在CentOS上使用Nginx和Tomcat搭建高可用高并发网站》使用的只有一个MySQL数据库。 从安全角度来说这是非常不安全的，比如这个数据库服务器磁盘突然损坏了，里面的数据全部丢失了。这种情况如果一开始只是部署一个数据库的话就非常危险了，这表明我们要丢失全部数据，而数据对网...
LInux数据库主从复制
08-30
Linux数据库主从复制是一种常用的数据库复制技术，用于实现数据备份、灾难恢复和负载均衡等功能。在主从复制中，有一个主数据库（Master）和一个或多个从数据库（Slave）。主数据库负责处理写操作，而从数据库则复制...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值