mysql 主从热备_使用MySQL主从复制技术实现数据库热备

使用MySQL主从复制技术实现数据库热备

1 MySQL Replication

2 部署MySQL主从同步

3 部署MySQL主主双向主从复制

MySQL Replication

什么是MySQL Replication

Replication可以实现将数据从一台数据库服务器(master)复制到一台或多台数据库服务器(slave)

默认情况下属于异步复制，无需维持长连接

通过配置，可以复制所有的库或者几个库，甚至库中的一些表

是MySQL内建的，本身自带的

Replication的原理

简单的说就是master将数据库的改变写入二进制日志，slave同步这些二进制日志，并根据这些二进制日志进行数据操作

DML:SQL操作语句，update, ×××ert，delete

Relay log :中继日志

Replication的作用

Fail Over 故障切换

Backup Server 备份服务，无法对SQL语句执行产生的故障恢复，有限的备份

High Performance 高性能，可以多台slave,实现读写分离

Replication工作原理

整体上来说，复制有3个步骤：

master将改变记录到二进制日志(binary log)中(这些记录叫做二进制日志事件，binary log events)

slave将master的binary log events拷贝到它的中继日志(relay log)

slave重做中继日志中的事件，修改salve上的数据。

MySQL主从复制中：

第一步：master记录二进制日志。在每个事务更新数据完成之前，master在二进制日志记录这些改变。MySQL将事务写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。

第二步：slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程—I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经执行完master产生的所有文件，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。

第三步：SQL slave thread(SQL从线程)处理该过程的最后一步。SQL线程从中继日志读取事件，并重新执行其中的事件而更新slave的数据，使其与master中的数据一致。

Replication常见方案

One master and Muti salve 一主多备

一般用来做读写分离的，master写，其他slave读，这种架构最大问题I/O压力集中

在Master上

2.M-S-S

使用一台slave作为中继，分担Master的压力，slave中继需要开启bin-log,并配置log-slave-updates

Slave中继可使用Black-hole存储引擎，不会把数据存储到磁盘，只记录二进制日志

M-M 双主互备 (互为主从)

很多人误以为这样可以做到MySQL负载均衡，实际没什么好处，每个服务器需要做同样的同步更新，破坏了事物的隔离性和数据的一致性。

M-M-M

监控三台机器互相作对方的master

天生的缺陷：复制延迟，slave上同步要慢于master，如果大并发的情况那延迟更严重

mysql在5.6已经自身可以实现fail over故障切换

One slave Muti master 一从对多主

好处：节省成本，将多个master数据自动化整合

缺陷：对库和表数据的修改较多

部署MySQL主从同步

环境准备：

模式：C/S

端口：3306

配置主数据库服务器node-1

安装MySQL 5.7版本

上传mysql-5.7.tar.gz到Linux主机上，并解压：

注：mysql-5.7.tar.gz 中包括了安装mysql5.7主要的软件包。 这样部署起来更方便

下载mysql 5.7 解压并安装

[root@node-1 ~]# wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar

[root@node-1 ~]# tar xvf mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar

mysql-community-embedded-devel-5.7.26-1.el7.x86_64.rpm

mysql-community-libs-5.7.26-1.el7.x86_64.rpm

mysql-community-embedded-5.7.26-1.el7.x86_64.rpm

mysql-community-test-5.7.26-1.el7.x86_64.rpm

mysql-community-embedded-compat-5.7.26-1.el7.x86_64.rpm

mysql-community-common-5.7.26-1.el7.x86_64.rpm

mysql-community-devel-5.7.26-1.el7.x86_64.rpm

mysql-community-client-5.7.26-1.el7.x86_64.rpm

mysql-community-server-5.7.26-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.26-1.el7.x86_64.rpm

[root@node-1 ~]# yum ×××tall ./mysql*.rpm

启动mysql 并生成临时密码

[root@node-1 ~]# systemctl start mysqld

在MySQL的配置文件/etc/my.cnf 中关闭密码强度审计插件，并重启MySQl服务。

[root@node-1 ~]# vim /etc/my.cnf

#修改MySQL的配置文件，在[myqld]标签处末行添加以下项

validate-password=OFF #不使用密码强度审计插件

重启mysqld

[root@node-1 ~]# systemctl restart mysqld

获取临时密码

[root@node-1 ~]# grep 'password' /var/log/mysqld.log

2019-06-11T03:30:58.381293Z 1 [Note] A temporary password is generated for root@localhost: Ulw=h.3N1r/T

使用临时密码登陆mysql，注意临时密码需要引号

[root@node-1 ~]# mysql -u root -p"Ulw=h.3N1r/T"

修改root密码

mysql> set password for root@localhost = password('123456');

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.01 sec)

mysql> exit

Bye

创建需要同步的数据库：

[root@node-1 ~]# mysql -u root -p123456

mysql> create database HA;

Query OK, 1 row affected (0.01 sec)

mysql> use HA;

Database changed

mysql> create table T1(id int,name varchar(20));

Query OK, 0 rows affected (0.01 sec)

mysql> exit

Bye

[root@node-1 ~]# vim /etc/my.cnf

log-bin=mysql-bin-master #启用二进制日志

server-id=1 #本机数据库ID 标示

binlog-do-db=HA #可以被从服务器复制的库, 二进制需要同步的数据库名

binlog-ignore-db=mysql #不可以被从服务器复制的库

授权

[root@node-1 ~]# mysql -uroot -p123456

mysql> grant replication slave on . to slave@192.168.150.139 identified by "123456";

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

查看状态信息

+-------------------------+----------+--------------+------------------+-------------------+

| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+-------------------------+----------+--------------+------------------+-------------------+

| mysql-bin-master.000001 | 604 | HA | mysql | |

+-------------------------+----------+--------------+------------------+-------------------+

1 row in set (0.00 sec)

查看二进制文件

mysql> show binlog events\G

复制前要保证同步的数据库一致

导出数据库文件

[root@node-1 ~]# mysqldump -uroot -p123456 HA >HA.sql

将数据导出传给从服务器

[root@node-1 ~]# scp HA.sql root@192.168.150.139:/root

解压mysql

[root@node2 ~]# tar xf mysql-5.7.26-1.el7.x86_64.rpm-bundle.tar

[root@node2 ~]# yum ×××tall -y ./mysql*.rpm

mysql 启动会生成临时密码

[root@node2 ~]# systemctl start mysqld

在MySQL的配置文件/etc/my.cnf 中关闭密码强度审计插件，并重启MySQl服务

[root@node2 ~]# systemctl restart mysqld

获取临时密码

[root@node2 ~]# grep 'password' /var/log/mysqld.log

2019-06-13T02:38:35.490766Z 1 [Note] A temporary password is generated for root@localhost: ,%d&>aAaQ2!7

使用临时密码登陆 记住mysql 是单引号双引号不识别

[root@node2 ~]# mysql -u root -p',%d&>aAaQ2!7'

修改root密码

mysql> set password for root@localhost = password('123456');

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;

Query OK, 0 rows affected (0.00 sec)

mysql> exit

Bye

现在登陆node-1 服务器测试远程能否登陆上数据库是否一致

[root@node-1 ~]# mysql -u root -p123456

mysql> show variables like '%version%';

测试链接主服务器是否成功

如果远程链接不上请开启服务器端口

开放端口

[root@node-1 ~]# firewall-cmd --zone=public --add-port=80/tcp --permanent

success

[root@node-1 ~]# firewall-cmd --zone=public --add-port=1000-2000/tcp --permanent

success

重载服务

[root@node-1 ~]# firewall-cmd --reload

success

查看端口

[root@node-1 ~]# firewall-cmd --zone=public --query-port=80/tcp

yes

开放相应服务器端口

[root@node-1 ~]# firewall-cmd --zone=public --add-port=3306/tcp --permanent

success

重载服务

[root@node-1 ~]# firewall-cmd --reload

success

测试远程数据库链接是不是正常

出现以下服务表示服务器正常链接

[root@node2 ~]# mysql -u slave -p123456 -h 192.168.150.138

mysql: [Warning] Using a password on the command line interface can be ×××ecure.

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 6

Server version: 5.7.26-log MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;

+--------------------+

| Database |

+--------------------+

| information_schema |

+--------------------+

1 row in set (0.00 sec)

只有复制的权限, 是看不到其他库的。正常导入数据库，和主数据库服务器保持一致

mysql> exit

Bye

在node-2上创建相应数据库

[root@node2 ~]# mysql -uroot -p123456

mysql> create database HA;

Query OK, 1 row affected (0.00 sec)

mysql> exit

Bye

导入数据库

[root@node2 ~]# mysql -uroot -p123456 HA < HA.sql

以下提示是 不能再命令行下使用 提示不安全 其实已经导入数据库文件进去了

mysql: [Warning] Using a password on the command line interface can be ×××ecure.

修改从服务器配置文件

从服务器没必要开启bin-log日志

停止mysql 服务

[root@node2 ~]# systemctl stop mysqld

[root@node2 ~]# vim /etc/my.cnf

server-id = 2 #从服务器ID号，不要和主ID相同 ，如果设置多个从服务器，每个从服务器必须有一个唯一的server-id值，必须与主服务器的以及其它从服务器的不相同。可以认为server-id值类似于IP地址：这些ID值能唯一识别复制服务器群集中的每个服务器实例。

启动mysql 服务

[root@node2 ~]# systemctl restart mysqld

[root@node2 ~]# mysql -u root -p123456

停止slave

mysql> stop slave;

Query OK, 0 rows affected, 1 warning (0.00 sec)

写入主服务器

mysql> change master to master_host='192.168.150.138',master_user='slave',master_password='123456';

Query OK, 0 rows affected, 2 warnings (0.01 sec)

启动slave

mysql> start slave;

Query OK, 0 rows affected (0.00 sec)

查看状态

mysql> show slave status\G

Slave_IO_Running ：一个负责与主机的IO通信

Slave_SQL_Running：负责自己的slave mysql进程

两个为YES 就成功了！

再到主服务器查看状态

[root@node-1 ~]# mysql -uroot -p123456

mysql> show processlist \G

mysql> use HA;

这句话的是意思是

读取表信息以完成表和列名称

您可以关闭此功能以使用-A更快地启动

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

从数据库查看

mysql> ×××ert into T1 values (1,'man');

排错

如果遇到主从不同步，看一下主从bin-log的位置，然后再同步。

mysql> show master status;

在主服务器上看二进制日志事件列表

先停止从服务器

mysql> stop slave;

Query OK, 0 rows affected (0.00 sec)

change master to master_log_file='mysql-bin-master.000001',master_log_pos=1164;

Query OK, 0 rows affected (0.01 sec)

#根据上面主服务器的show master status的结果，进行从服务器的二进制数据库记录回归，达到同步的效果

重新启动slave同步服务

mysql> start slave;

Query OK, 0 rows affected (0.00 sec)

mysql> show slave status\G; #用show slave status\G;看一下从服务器的同步情况

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

如果都是yes，那代表已经在同步

重启从服务器，再查看状态：

stop slave; #停止从服务器

start slave; #开启从服务器

排错思路：

二进制日志没有开启

IPTABLES 没有放开端口

对应的主机 IP地址写错了

SQL线程出错

主从服务器数据库结构不统一，出错后，数据少，可以手动解决创建插入，再更新slave状态。

注：如果主上误删除了。那么从上也就误删除了。 #因此主上要定期做mysqldump备份