mysql热备及常见拓扑架构

最新推荐文章于 2024-01-16 12:26:47 发布

weixin_34233856

最新推荐文章于 2024-01-16 12:26:47 发布

阅读量151

点赞数

原文链接：http://blog.51cto.com/wushank/1649955

版权

热备份指的是：high available即高可用，而备份批的是Backup,即数据备份的一种，这是两种不同的概念，应对的产品也是两种功能上完全不同的产品。

热备份主要保障业务的连续性，实现的方法是故障点的转移。

备份，主要目的是为了防止数据丢失，而做的一份拷贝，所以备份强调的是数据恢复而不是应用的故障转移。

一、双机热备方案的主要两种组建方式：

双机热备方案在进行讨论的时候一定要考虑到很多的因素，其中在各种环境下应用的时候需要格外的引起注意。当然还是有主要的两方式可以借鉴考虑的。

第一种，双机热备它的工作原理是使用两台服务器，一台作为主服务器（Active），运行应用系统来提供服务。另一台作为备机，安装完全一样的应用系统，但处于待机状态（Standby）。当Active服务器出现故障时，通过软件诊测将Standby机器激活，保证应用在短时间内完成恢复正常使用。

第二种，双机互备方式则是在双机热备的基础上，两个相对独立的应用在两台机器同时运行，但彼此均设为备机，当某一台服务器出现故障时，另一台服务器可以在短时间内将故障服务器的应用接管过来，从而保证了应用的持续性，这种方式实际上是双机热备方案的一种应用。

但目前使用最多的还是主从模式的双机热备方案。

Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。

请注意当你进行复制时，所有对复制中的表的更新必须在主服务器上进行。否则，你必须要小心，以避免用户对主服务器上的表进行的更新与对从服务器上的表所进行的更新之间的冲突。

二、mysql主从备份复制介绍：

1.1 mysql支持的复制类型：

　　    （1）：基于语句的复制：在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。
            一旦发现没法精确复制时，   会自动选着基于行的复制。
　    　（2）：基于行的复制：把改变的内容复制过去，而不是把命令在从服务器上执行一遍. 从mysql5.0开始支持
　　    （3）：混合类型的复制: 默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

1.2 . 复制解决的问题

         MySQL复制技术有以下一些特点：
         (1)   数据分布 (Data distribution )
         (2)   负载平衡(load balancing)
         (3)   备份(Backups)
         (4)   高可用性和容错行 High availability and failover

1.3 复制如何工作

整体上来说，复制有3个步骤：

         (1)   master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；
     (2)   slave将master的binary log events拷贝到它的中继日志(relay log)；
         (3)   slave重做中继日志中的事件，将改变反映它自己的数据。

下图描述了复制的过程：

1. 作为主服务器Master，会把自己的每一次改动都记录到二进制日志 Binarylog 中。（从服务器会负责来读取这个log，然后在自己那里再执行一遍。）

2. 作为从服务器Slave，会用master上的账号登陆到 master上，读取master的Binarylog, 写入到自己的中继日志 Relaylog，然后自己的sql线程会负责读取这个中继日志，并执行一遍。到这里主服务器上的更改就同步到从服务器上了。

在mysql上可以查看当前服务器的主，从状态。其实就是当前服务器的 Binary（作为主服务器角色）状态和位置。以及其RelayLog（作为从服务器）的复制进度。

三、主——主双机互备复制实例：

环境说明：

A服务器：172.16.171.100 B服务器：172.16.171.110

先以A服务器为起点，配置它的数据库同步到B。这就是主-从复制了。之后再反过来做一次，就可以互相备份了。具体步骤如下：

1、在A服务器上面创建专门用于备份的用户：

mysql> grant replication slave on *.* to 'repl_user'@'%' identified by 'repl_user';
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

2、开启主服务器的 binarylog:

服务器A： vim /etc/my.cnf

log-bin = mysql-bin
binlog_format = mixed
server-id = 1

read-only = 0
binlog-ignore-db = mysql
binlog-ignore-db = information_schema
auto-increment-increment = 10
auto-increment-offset = 1

后面两个用于在双主（多主循环）互相备份。因为每台数据库服务器都可能在同一个表中插入数据，如果表有一个自动增长的主键，那么就会在多服务器上出现主键冲突。解决这个问题的办法就是让每个数据库的自增主键不连续。上图说是，我假设需要将来可能需要10台服务器做备份，所以auto-increment-increment 设为10. 而 auto-increment-offset=1 表示这台服务器的序号。从1开始，不超过auto-increment-increment。

这样做之后，我在这台服务器上插入的第一个id就是 1，第二行的id就是 11了，而不是2.

（同理，在第二台服务器上插入的第一个id就是2，第二行就是12，这个后面再介绍）这样就不会出现主键冲突了。后面我们会演示这个id的效果。

3、获取主服务器状态，和同步初态

假设我现在有这些数据库在A上面。

如果你是全新安装的，那么不需要同步初态，直接跳过这一步，到后面直接查看主服务器状态。

这里我们假设有一个 sky 数据库作为初态。

(1).先锁定 sky数据库： FLUSH TABLES WITH READ LOCK;

(2).然后导出数据：

我这里只需要导出sky数据库，如果你有多个数据库作为初态的话，需要导出所有这些数据库：

[root@openstack-control ~]# mysqldump --master-data=2 -uroot -p sky > sky.sql
Enter password:
[root@openstack-control ~]#

(3).查看A服务器的binary日志位置

记住这个文件名和位置，等会在从服务器上会用到。

mysql> show master status \G;
*************************** 1. row ***************************
            File: mysql-bin.000003
        Position: 996
    Binlog_Do_DB:
Binlog_Ignore_DB: mysql,information_schema
1 row in set (0.00 sec)

(4).主服务器已经做完了，可以解除锁定了

mysql> unlock tables;
Query OK, 0 rows affected (0.00 sec)

4、设置从服务器 B 需要复制的数据库

编辑从服务器 B 的 /etc/my.cnf 文件：

log-bin = mysql-bin
binlog_format = mixed
server-id = 2

#replicate-do-db = sky

replicate-ignore-db = mysql
replicate-ignore-db = information_schema
relay_log = mysqld-relay-bin
log-slave-updates = 1

解释一下上面的内容。

server-id 必须保证每个服务器不一样。这可能和循环同步有关。防止进入死循环。

replicate-do-db 可以指定需要复制的数据库，我这里注掉了。演示一下。

replicate-ignore-db 复制时需要排除的数据库，我使用了，这个。除开系统的几个数据库之外，所有的数据库都复制。

relay_log 中继日志的名字。前面说到了，复制线程需要先把远程的变化拷贝到这个中继日志中，在执行。

log-slave-updates 意思是，中继日志执行之后，这些变化是否需要计入自己的binarylog。当你的B服务器需要作为另外一个服务器的主服务器的时候需要打开。就是双主互相备份，或者多主循环备份。我们这里需要，所以打开。

保存，重启mysql。

5、导入初态，开始同步。

把刚才从A服务器上导出的 sky.sql 导入到 B的数据库中，如果B现在没有sky数据库，请先创建一个，然后再导入；如果你刚才导出了多个数据库，需要把他们都一一上传导入。

开启同步, 在B服务器上执行：

mysql> change master to
    -> master_host='172.16.171.100',
    -> master_user='repl_user',
    -> master_password='repl_user',
    -> master_log_file='mysql-bin.000003',
    -> master_log_pos=996;

重启mysql或者start slave;

查看slave线程开启了没

mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event

                  Master_Host: 172.16.171.100
                  Master_User: repl_user
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000003
          Read_Master_Log_Pos: 996
               Relay_Log_File: mysqld-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000003
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

注意以下二个参数，两个都是Yes，说明开启成功。

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

如果其中一个是No，那就说明不成功。需要查看mysql的错误日志。我在第一次做的时候就遇到这个问题。有时候密码填错了，有时候防火墙的3306没有打开。ip地址不对，等等。都会导致失败。

然后在A主服务器进行数据库及表测试。

此时不要在B中修改数据。我们接着配置从B到A的复制。如果你只需要主从复制的话，到这里就结束了。后面可以不看了。所有A中的修改都能自动同步到B，但是对B的修改却不能同步到A。因为是单向的。

6、如果需要双向同步的话，需要再做一次从B到A的复制。

四、常用拓扑结构

复制的体系结构有以下一些基本原则：
(1)   每个slave只能有一个master；
(2)   每个slave只能有一个唯一的服务器ID；
(3)   每个master可以有很多slave；
(4)   如果你设置log_slave_updates，slave可以是其它slave的master，从而扩散master的更新。

MySQL不支持多主服务器复制(Multimaster Replication)——即一个slave可以有多个master。但是，通过一些简单的组合，我们却可以建立灵活而强大的复制体系结构。

1、单一master和多slave

由一个master和一个slave组成复制系统是最简单的情况。Slave之间并不相互通信，只能与master进行通信。

在实际应用场景中，MySQL复制90%以上都是一个Master复制到一个或者多个Slave的架构模式，主要用于读压力比较大的应用的数据库端廉价扩展解决方案。因为只要Master和Slave的压力不是太大（尤其是Slave端压力）的话，异步复制的延时一般都很少很少。尤其是自从 Slave端的复制方式改成两个线程处理之后，更是减小了Slave端的延时问题。而带来的效益是，对于数据实时性要求不是特别Critical的应用，只需要通过廉价的pcserver来扩展Slave的数量，将读压力分散到多台Slave的机器上面，即可通过分散单台数据库服务器的读压力来解决数据库端的读性能瓶颈，毕竟在大多数数据库应用系统中的读压力还是要比写压力大很多。这在很大程度上解决了目前很多中小型网站的数据库压力瓶颈问题，甚至有些大型网站也在使用类似方案解决数据库瓶颈。

如下：

   如果写操作较少，而读操作很多，可以采取这种结构。你可以将读操作分布到其它的slave，从而减小master的压力。但是，当slave增加到一定数量时，slave对master的负载以及网络带宽都会成为一个严重的问题。
这种结构虽然简单，但是，它却非常灵活，足够满足大多数应用需求。一些建议：
(1)   不同的slave扮演不同的作用(例如使用不同的索引，或者不同的存储引擎)；
(2)   用一个slave作为备用master，只进行复制；
(3)   用一个远程的slave，用于灾难恢复；

大家应该都比较清楚，从一个Master节点可以复制出多个Slave节点，可能有人会想，那一个Slave节点是否可以从多个Master节点上面进行复制呢？至少在目前来看，MySQL是做不到的，以后是否会支持就不清楚了。

MySQL不支持一个Slave节点从多个Master节点来进行复制的架构，主要是为了避免冲突的问题，防止多个数据源之间的数据出现冲突，而造成最后数据的不一致性。不过听说已经有人开发了相关的patch，让MySQL支持一个Slave节点从多个Master结点作为数据源来进行复制，这也正是MySQL开源的性质所带来的好处。

2、主动模式的Master-Master(Master-Master in Active-Active Mode)

Master-Master复制的两台服务器，既是master，又是另一台服务器的slave。这样，任何一方所做的变更，都会通过复制应用到另外一方的数据库中。

可能有些读者朋友会有一个担心，这样搭建复制环境之后，难道不会造成两台MySQL之间的循环复制么？实际上MySQL自己早就想到了这一点，所以在MySQL的BinaryLog中记录了当前MySQL的server-id，而且这个参数也是我们搭建MySQLReplication的时候必须明确指定，而且Master和Slave的server-id参数值比需要不一致才能使MySQLReplication搭建成功。一旦有了server- id的值之后，MySQL就很容易判断某个变更是从哪一个MySQLServer最初产生的，所以就很容易避免出现循环复制的情况。而且，如果我们不打开记录Slave的BinaryLog的选项（--log-slave-update）的时候，MySQL根本就不会记录复制过程中的变更到 BinaryLog中，就更不用担心可能会出现循环复制的情形了。

如图：

主动的Master-Master复制有一些特殊的用处。例如，地理上分布的两个部分都需要自己的可写的数据副本。这种结构最大的问题就是更新冲突。假设一个表只有一行(一列)的数据，其值为1，如果两个服务器分别同时执行如下语句：
在第一个服务器上执行：
mysql> UPDATE tbl SET col=col + 1;
在第二个服务器上执行：
mysql> UPDATE tbl SET col=col * 2;
那么结果是多少呢？一台服务器是4，另一个服务器是3，但是，这并不会产生错误。
实际上，MySQL并不支持其它一些DBMS支持的多主服务器复制(Multimaster Replication)，这是MySQL的复制功能很大的一个限制(多主服务器的难点在于解决更新冲突)，但是，如果你实在有这种需求，你可以采用MySQL Cluster，以及将Cluster和Replication结合起来，可以建立强大的高性能的数据库平台。但是，可以通过其它一些方式来模拟这种多主服务器的复制。

3、主动-被动模式的Master-Master(Master-Master in Active-Passive Mode)

这是master-master结构变化而来的，它避免了M-M的缺点，实际上，这是一种具有容错和高可用性的系统。它的不同点在于其中一个服务只能进行只读操作。如图：

4、级联复制架构 Master –Slaves - Slaves

在有些应用场景中，可能读写压力差别比较大，读压力特别的大，一个Master可能需要上10台甚至更多的Slave才能够支撑注读的压力。这时候，Master就会比较吃力了，因为仅仅连上来的SlaveIO线程就比较多了，这样写的压力稍微大一点的时候，Master端因为复制就会消耗较多的资源，很容易造成复制的延时。

遇到这种情况如何解决呢？这时候我们就可以利用MySQL可以在Slave端记录复制所产生变更的BinaryLog信息的功能，也就是打开— log-slave-update选项。然后，通过二级（或者是更多级别）复制来减少Master端因为复制所带来的压力。也就是说，我们首先通过少数几台MySQL从Master来进行复制，这几台机器我们姑且称之为第一级Slave集群，然后其他的Slave再从第一级Slave集群来进行复制。从第一级Slave进行复制的Slave，我称之为第二级Slave集群。如果有需要，我们可以继续往下增加更多层次的复制。这样，我们很容易就控制了每一台 MySQL上面所附属Slave的数量。这种架构我称之为Master-Slaves-Slaves架构

这种多层级联复制的架构，很容易就解决了Master端因为附属Slave太多而成为瓶颈的风险。下图展示了多层级联复制的Replication架构。

当然，如果条件允许，我更倾向于建议大家通过拆分成多个Replication集群来解决上述瓶颈问题。毕竟Slave并没有减少写的量，所有Slave实际上仍然还是应用了所有的数据变更操作，没有减少任何写IO。相反，Slave越多，整个集群的写IO总量也就会越多，我们没有非常明显的感觉，仅仅只是因为分散到了多台机器上面，所以不是很容易表现出来。

此外，增加复制的级联层次，同一个变更传到最底层的Slave所需要经过的MySQL也会更多，同样可能造成延时较长的风险。

而如果我们通过分拆集群的方式来解决的话，可能就会要好很多了，当然，分拆集群也需要更复杂的技术和更复杂的应用系统架构。

5、带从服务器的Master-Master结构(Master-Master with Slaves)

这种结构的优点就是提供了冗余。在地理上分布的复制结构，它不存在单一节点故障问题，而且还可以将读密集型的请求放到slave上。

级联复制在一定程度上面确实解决了Master因为所附属的Slave过多而成为瓶颈的问题，但是他并不能解决人工维护和出现异常需要切换后可能存在重新搭建Replication的问题。这样就很自然的引申出了DualMaster与级联复制结合的Replication架构，我称之为 Master-Master-Slaves架构

和Master-Slaves-Slaves架构相比，区别仅仅只是将第一级Slave集群换成了一台单独的Master，作为备用Master，然后再从这个备用的Master进行复制到一个Slave集群。

这种DualMaster与级联复制结合的架构，最大的好处就是既可以避免主Master的写入操作不会受到Slave集群的复制所带来的影响，同时主Master需要切换的时候也基本上不会出现重搭Replication 的情况。但是，这个架构也有一个弊端，那就是备用的Master有可能成为瓶颈，因为如果后面的Slave集群比较大的话，备用Master可能会因为过多的SlaveIO线程请求而成为瓶颈。当然，该备用Master不提供任何的读服务的时候，瓶颈出现的可能性并不是特别高，如果出现瓶颈，也可以在备用Master后面再次进行级联复制，架设多层Slave集群。当然，级联复制的级别越多，Slave集群可能出现的数据延时也会更为明显，所以考虑使用多层级联复制之前，也需要评估数据延时对应用系统的影响。

转载于:https://blog.51cto.com/wushank/1649955