高并发架构系列：数据库主从同步的3种一致性方案实现，及优劣比较

下载网站:www.SyncNavigator.CN  客服QQ1793040
----------------------------------------------------------

关于HKROnline SyncNavigator 注册机价格的问题

 

HKROnline SyncNavigator 8.4.1 非破解版 注册机 授权激活教程

 

最近一直在研究数据库同步的问题，在网上查了很多资料，也请教了很多人，找到了一种通过快照复制的方法。研究了一番后发现之前就是用的这个方法，效果不是很好，果断放弃。经过了一番寻觅和他人指点，最后从一位热心网友那里得知一款很好用的软件—— SyncNavigator。

好东西就要拿出来跟大家分享，所以今天向大家介绍一下这款软件，及其一些使用方法。下面先看看它有什么强大的功能吧！

SyncNavigator的基本功能：

自动同步数据/定时同步数据
无论是实时同步/24小时不间断同步，还是根据计划任务(每小时/每日/每周/等)定时自动同步都能完全胜任。

完整支持 Microsoft SQL Server
完整支持 Microsoft SQL Server 2000 2005 2008 数据库类型。并能在不同数据库版本之间相互同步数据。

支持 MySQL 4.1 以上版本
支持 MySQL 4.1 5.0 5.1 5.4 5.5。并能在不同数据库版本之间相互同步数据。

无人值守和故障自动恢复
当数据库故障或网络故障以后，无需人工干预(或操作)自动恢复同步并确保数据完全准确，可靠。

同构数据库同步/异构数据库同步
SQL Server to SQL Server, MySQL to MySQL, SQL Server to MySQL 等都能轻松实现。

断点续传和增量同步
当同步完成(或中断)后，再次同步时能继续上一次的位置增量同步，避免每次都需要从头开始的问题。

在高并发场景下，数据主从同步是必然的方式，除了数据库主从同步外，还会涉及到分布式环境下的数据同步(文末有介绍~)。

今天分享数据库主从同步解决方案。

数据主从同步的由来

互联网的很多业务，特别是在高并发的场景下，基本都是读远远大于写，如果数据库读和写的压力都同在一台主机上，这显然不太合理。

于是，把一台数据库主机分为单独的一台写主库(主要负责写操作)，而把读的数据库压力分配给读的从库，而且读从库可以变为多台，这就是读写分离的典型场景如下：

为了进一步的降低数据库端的压力(高并发的瓶颈)，这个时候也会在业务层部署分布式缓存集群(redis、memcached)等，把读的压力转移给应用服务器端，其实与数据主从的设计是遵循同一个原则，降低后端数据库的压力。

问题：

读写分离提高了资源的利用效率的同时也引出了一个问题，就是由于延时(网络传输，操作)而引起的数据库主从不一致的问题，以下会详细谈相关的数据一致性解决方案。

 

数据同步一致性解决方案

1.半同步复制

办法就是等主从同步完成之后，等主库上的写请求再返回，这就是常说的“半同步复制”。

实现方案

mysql的半同步复制方案，下面我以mysql为例介绍。

MySQL半同步复制

MySQL的Replication默认是一个异步复制的过程，从MySQL5.5开始，MySQL以插件的形式支持半同步复制，我先谈下异步复制，这样可以更好的理解半同步复制。

1)异步复制

MySQL默认的复制是异步的，主库在执行完客户端提交的事务后会立即将结果返给给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从库上。

2)半同步复制

介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

半同步复制原理：

• 事务在主库写完binlog后需要从库返回一个已接受，才放回给客户端
• mysql5.5版本以后，以插件的形式存在，需要单独安装
• 确保事务提交后binlog至少传输到一个从库
• 不保证从库应用完成这个事务的binlog
• 性能有一定的降低
• 网络异常或从库宕机，卡主库，直到超时或从库恢复

该方案优点：

利用数据库原生功能，比较简单

该方案缺点：

主库的写请求时延会增长，吞吐量会降低

2.数据库中间件

流程：

1)所有的读写都走数据库中间件，通常情况下，写请求路由到主库，读请求路由到从库

2)记录所有路由到写库的key，在主从同步时间窗口内(假设是500ms)，如果有读请求访问中间件，此时有可能从库还是旧数据，就把这个key上的读请求路由到主库。

3)在主从同步时间过完后，对应key的读请求继续路由到从库。

相关的中间件有：

1)canal:是阿里巴巴旗下的一款开源项目，纯Java开发,基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL。

2)otter：也是阿里开源的一个分布式数据库同步系统，尤其是在跨机房数据库同步方面，有很强大的功能。它是基于数据库增量日志解析，实时将数据同步到本机房或跨机房的mysql/oracle数据库。

两者的区别在于：

otter目前嵌入式依赖canal，部署为同一个jvm，目前设计为不产生Relay Log。

otter目前允许自定义同步逻辑，解决各类需求。

该方案优点

能保证绝对一致

该方案缺点：

数据库中间件的成本较高

 

3.缓存记录写key法

写流程：

1)如果key要发生写操作，记录在cache里，并设置“经验主从同步时间”的cache超时时间，例如500ms

2)然后修改主数据库

读流程：

1)先到缓存里查看，对应key有没有相关数据

2)有相关数据，说明缓存命中，这个key刚发生过写操作，此时需要将请求路由到主库读最新的数据。

3)如果缓存没有命中，说明这个key上近期没有发生过写操作，此时将请求路由到从库，继续读写分离。

该方案优点：

相对数据库中间件，成本较低

该方案缺点：

为了保证“一致性”，引入了一个cache组件，并且读写数据库时都多了缓存操作。

以上就是数据库主从同步一致性方案详解，如果有兴趣了解更加深入的分布式大数据分布式文件系统和分布式数据库的一致性，可以到优知学院官网查看：分布式数据库数据一致性的原理、与技术实现方案(文章)~

更多利用分布式缓存、异步消息等方式解决高并发场景，具体的内容如下：