数据库集群

数据库集群

数据库集群，顾名思义，就是利用至少两台或者多台数据库服务器，构成一个虚拟单一数据库逻辑映像，像单数据库系统那样，向客户端提供透明的数据服务。

透明的服务：集群向客户端提供的服务与单机系统向客户端提供的服务，从通讯协议上保持二进制兼容。

同步：数据库客户端发出数据更新请求后，要等集群的每个节点全部更新后，才给客户端返回结果。

异步：数据库客户端发出数据更新请求后，接受请求的节点(这里往往是主数据库)立马给客户端返回结果，被更新的数据则会在接下来的某个时间里被复制传输到集群的其它节点上(弱一致性处理)。

基于连接的负载均衡：此种负载均衡实现技术比较简单，就是在客户端发起登陆的时候，按照某种负载均衡算法，选择登陆到集群某台数据库，此后所有客户端的请求全部会发送到此数据库上。

基于请求的负载均衡：此种负载均衡实现技术比较复杂，但是功能强大，就是在客户端发起登陆的时候，集群网关会同时登录到集群各节点数据库，此后所有的客户端请求，经过集群网关的分析被分成两类，查询请求根据负载均衡算法挑选一个节点执行，数据更新请求则有主机执行并实时同步数据到集群各节点。

与分布式数据库系统的区别

• 数据库集群有的具有单份数据集，有的具有两份或多份相似的数据集，有的具有两份或多份实时一致的数据集；而分布式数据库系统往往具有完全不同的数据集。
• 数据库集群往往是同构的系统，要求集群各节点都具有相同的操作系统和数据库系统版本，甚至补丁包的版本也要求保持一致；而分布式数据库系统可以是异构系统，包含不同的操作系统和不同的数据库系统。
• 数据库集群往往建立在高速局域网内；而分布式数据库系统既可以是高速局域网，也可以是跨部门、跨单位的异地远程网络。

数据库集群的技术指标

由于数据库系统是任何一个信息系统的核心，因此除了业务逻辑之外，用户还关心下面三点：

• 系统性能
  性能问题涉及硬件、软件、网络、应用设计架构、代码质量等多方面。但是数据库集群如果能提供负载均衡能力和自动优化能力，则是对整个系统性能具有莫大的好处。
• 数据可靠性
  在系统发生任意故障(包括操作系统、数据库引擎、硬盘或磁盘阵列或存储网络等故障)条件下数据丢失的可能性。有的系统从设计原理上注定了必然会存在理论上的数据丢失可能性，而有的系统因为冗余设计原理，可以保证理论上的数据零丢失。用容灾领域的术语来讲，这类似于RPO(Recovery Point Objective)，但是不完全等同于RPO。
• 服务可用性
  在系统发生任意故障(包括操作系统、数据库引擎、硬盘或磁盘阵列或存储网络等故障)条件下整个系统停止对外提供数据服务的可能性。与上面的数据库可靠性紧密关联，如果一个系统从理论上存在数据丢失的可能性，那么这样的系统必然会导致整个系统的服务停止。同样地，用容灾领域的术语来讲，这类似于RTO(Recovery Time Objective)，但是也同样不能完全等同于RTO。

数据库集群的分类

在市场上，数据库集群是一个笼统的名词，没有一个权威的定义，各市场参与者往往是各取所需，推出各种特色的数据库集群解决方案。一般地具有下列四种集群方案：
1．基于串行数据复制技术
串行复制技术，本来是用于数据传送和数据备份的，离人们熟悉的“数据库集群”的概念有一定的距离。但是由于计算机软硬件技术和网络通讯技术的快速发展，使得利用这种概念和技术构成的“数据库集群”有了一定的可行性。此类集群，又可以分两类:
a.串行异步复制

此种方式是数据的异步串行复制。主要采用数据库事务日志传送或者硬盘数据块传送技术来实现，SQL Server自带的复制、镜像和SQL2012新出的AlwaysON(备机可读)以及第三的一些镜像Mirror技术都是属于此类产品，此类技术和产品本质上就是数据备份技术和产品。下列以事务日志传送(Log Shipping)为例来说明。主数据库完成事务处理后，生成事务处理日志，日志记录通过FIFO队列，进入备份数据库处理，从而得到备份数据。此种方式的缺陷在于：
a) 主数据库并行处理事务而日志拷贝是串行的，而备份数据库处理日志记录也是串行的。因此，FIFO队列的溢出随时可能发生。一旦发生，队列必须重建，从而需要重新建立备份数据库。此种方法对于一般客户来讲是不可行的。

b) 由于日志拷贝是异步的，主备数据库不是实时一致，两者之间存在“时间差”，因此如果用备份数据库作负荷均衡，这样的应用存在逻辑上的漏洞，可能会发生数据错乱。

c) 由于主备数据存在时间差, 主数据库一旦发生事故，理论上一定会丢失数据。在这种情况下，要么需要手工恢复数据库，这会消耗大量的人工成本，或者数据根本就不能恢复。

d) 对主机的性能影响，根据测试一般在15%到25%之间。

b.串行同步复制
此类集群往往是由昂贵的专用软硬件构成的，原理图如下：

此类系统采用专用的高速网络和软件技术，将每个数据库的请求，通过同步复制的方式，同步在主备两台数据库服务器上执行正确后，才将结果返回给数据库客户。此系统的特点是：
a) 主数据库被强迫与备份数据库同步串行处理，因此性能受到限制。

b) 主备数据库中任意一个出现问题，都会迫使事务处理交易回滚，因此整个系统的可靠性比单机系统降低了一半。

c) 由于以上问题，这种备份方式只适用于近距离光纤网络（5英里）。

d) 专用系统造价昂贵，又加上述明显缺陷，因此市场上很少被采用。

2．基于共享存储的双机容错技术
从技术适应性的角度讲，双机容错比较适合于无状态应用，或者状态信息较少的应用切换，以此达到应用级的高可用性目的，其实并不适合于数据库级的应用切换。

此种结构往往是两个服务器共享一个磁盘阵列，这里两个服务器共享一个虚拟的IP供数据库客户使用，形成一个单一的逻辑数据库映象。此种所谓的数据库集群的目的是，一旦主机系统出现问题，备份系统通过心跳机制的检测，完成从主机系统到备份系统的切换。这种方案在市场上被称为“双机集群”或者“双机热备”，简称参见“双机”，但微软称之为“故障转移集群”。它有下列特点：
a. 此种高可用性解决方案只是无状态系统(典型的如Web服务器)的普通容错切换思想在数据库领域的应用。

b. 此系统本身只有一个单一的数据映象，数据储存在共享的磁盘阵例上，因此共享的磁盘阵列成为了整个系统的单点错误源。

c. 由于是单一数据映象，因此必须采用通常的复制或备份方法获取第二份数据，以保证数据的安全性。因此所有复制或备份方法的缺点，此类系统全部存在。

d. 主机系统和备份系统之间是没有任何负载均衡关系的，在正常情况下，备份系统是闲置在那里，因此对用户来说是一种投资浪费。

e. 在错误切换的时候，往往存在切换时间长，而且更严重的是可能会存在丢失用户交易数据丢失的现象，结果导致系统被迫停止服务，或者需要人工修复数据，或者数据永远找不回来。

3．以Oracle RAC为代表的系统
RAC的英文全称是：Real Application Cluster(真正的应用级集群)。我们需要关注的是“应用级”。为了缓解数据库系统日益增长的性能压力，Oracle公司推出了RAC系统。它基本结构如下：

此类系统，专门是针对数据库性能问题而提出的。采用共享磁盘阵列的方式，因此在结构上和上述双机容错相似，不同的地方在于此系统中的数据库节点之间采用的不是简单的心跳检测，而是Oracle公司自己定义的一套复杂的信息交换协议，以此来动态分配来自数据库客户端的请求。它的特点是：
a. 是个应用级的集群，也就是针对Oracle的数据库管理系统(因为数据库管理系统对于操作系统来讲，就是一个“应用程序”，因此被称为“应用级集群”)，专门为提高数据库性能而设计。

b. 此系统本身只有一个单一的数据映象，数据储存在共享的磁盘阵例上，因此享的磁盘阵例成为了整个系统的单点错误源。

c. 管理配置复杂。

d. 由于是单一数据映象，因此必须采用通常的复制或备份方法获取第二份数据，以保证数据的安全性。因此所有复制或备份方法的缺点，此类系统全部存在。

e. 由于数据库系统本身具有高I/O的特性，因此，RAC系统里，磁盘I/O是提高性能的关键地方。

f. 依据不同的数据库应用，有的性能有所提升，有的性能可能会反而下降。

为什么要用数据库集群

通过使用数据库集群可以使读写分离，提高数据库的系统性能。
mysql是支持分布式的。MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库，从而使从数据库和主数据库的数据保持一致。 当然，主服务器也可以提供查询服务。使用读写分离最大的作用无非是环境服务器压力。

为什么读写分离能提高数据库的性能？

• 物理服务器增加，负荷增加
• 主从只负责各自的写和读，极大程度的缓解X锁和S锁争用
• 从库可配置myisam引擎，提升查询性能以及节约系统开销
• 从库同步主库的数据和主库直接写还是有区别的，通过主库发送来的binlog恢复数据，但是，最重要区别在于主库向从库发送binlog是异步的，从库恢复数据也是异步的
• 读写分离适用与读远大于写的场景，如果只有一台服务器，当select很多时，update和delete会被这些select访问中的数据堵塞，等待select结束，并发性能不高。 对于写和读比例相近的应用，应该部署双主相互复制
• 可以在从库启动是增加一些参数来提高其读的性能，例如–skip-innodb、–skip-bdb、–low-priority-updates以及–delay-key-write=ALL。当然这些设置也是需要根据具体业务需求来定得，不一定能用上
• 分摊读取。假如我们有1主3从，不考虑上述1中提到的从库单方面设置，假设现在1 分钟内有10条写入，150条读取。那么，1主3从相当于共计40条写入，而读取总数没变，因此平均下来每台服务器承担了10条写入和50条读取（主库不 承担读取操作）。因此，虽然写入没变，但是读取大大分摊了，提高了系统性能。另外，当读取被分摊后，又间接提高了写入的性能。所以，总体性能提高了，说白 了就是拿机器和带宽换性能。MySQL官方文档中有相关演算公式：官方文档 见6.9FAQ之“MySQL复制能够何时和多大程度提高系统性能”
• MySQL复制另外一大功能是增加冗余，提高可用性，当一台数据库服务器宕机后能通过调整另外一台从库来以最快的速度恢复服务，因此不能光看性能，也就是说1主1从也是可以的。

数据库集群和分布式数据库有什么区别？

分布式是并联工作的，集群是串联工作的。

分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。

举例：就比如新浪网，访问的人多了，他可以做一个群集，前面放一个响应服务器，后面几台服务器完成同一业务，如果有业务访问的时候，响应服务器看哪台服务器的负载不是很重，就将给哪一台去完成。而分布式，从窄意上理解，也跟集群差不多， 但是它的组织比较松散，不像集群，有一个组织性，一台服务器垮了，其它的服务器可以顶上来。分布式的每一个节点，都完成不同的业务，一个节点垮了，哪这个业务就不可访问了。

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。

举例：如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行该任务需10小时。采用分布式方案，提供10台服务器，每台服务器只负责处理一个子任务，不考虑子任务间的依赖关系，执行完这个任务只需一个小时。(这种工作模式的一个典型代表就是Hadoop的Map/Reduce分布式计算模型）而采用集群方案，同样提供10台服务器，每台服务器都能独立处理这个任务。假设有10个任务同时到达，10个服务器将同时工作，1小时后，10个任务同时完成，这样，整身来看，还是1小时内完成一个任务！

读写分离

读写分离概述

基本架构图

适用场景

参考文章：
https://baike.baidu.com/item/%E6%95%B0%E6%8D%AE%E5%BA%93%E9%9B%86%E7%BE%A4/9695098?fr=aladdin
https://www.cnblogs.com/ttaylor/p/9510562.html
https://www.jianshu.com/p/eba38b1ff43c?utm_source=coffeephp.com