【巨杉数据库SequoiaDB】巨杉 Tech | SequoiaDB SQL实例高可用负载均衡实践

1

前言

 

在应用程序中，应用配置连接的数据库IP地址和端口号都是固定一个的，当所属IP地址的服务器宕机后，需要人为手工更改IP地址切换数据库服务器。同时当应用接收到成千上万的并发 http 请求时，会导致服务器消耗大量系统资源，轻则响应速度降低，严重的甚至会引发宕机。

 

为了充分合理的利用服务器资源，提高数据服务的性能和稳定性，在较低成本的前提下，保证在部分服务器宕机或发生故障的情况下不影响业务的正常运作。本文主要介绍 Nginx+Keepalived 连接 SequoiaDB -MySQL 实例的高可用方案与实践。

 

2

SequoiaDB 数据库介绍

 

SequoiaDB 巨杉数据库是一款完全自研的金融级分布式数据库产品，采用计算与存储分离架构，由数据库实例层和数据库存储引擎层组成。数据库实例层负责解析请求并转发至数据库存储引擎层处理，同时会将数据库存储引擎层的响应结果反馈给应用层，数据库实例层支持包括针对结构化数据的 MySQL 实例、PostgreSQL 实例、SparkSQL 实例，以及针对非结构化数据的 S3 和 PosixFS 文件系统的对象存储实例实例，而数据库存储引擎层是由 SequoiaDB 巨杉数据库的协调节点、编目节点和数据节点组成。该数据库集群架构能方便用户实现由传统数据库到巨杉数据库的无缝迁移，减少应用开发者的开发和学习成本。

 

2.1

 

SequoiaDB MySQL实例 的关系

 

如图所示是 SequoiaDB 巨杉数据库集群的逻辑架构图，用户由图可知，应用程序实际是通过计算层的实例节点连接、访问数据库。例如图中所示，应用程序可以直接通过 MySQL 的 JDBC 驱动连接、访问 SequoiaDB 数据库集群。

 

SequoiaDB 数据库的存储层是一个能够支持分布式事务、多中心容灾的分布式存储集群。

 

SequoiaDB 的分布式存储层，其中包括：协调节点、编目节点和数据库节点三类角色节点。分布式存储层中的所有节点均支持多节点部署，支持分布式水平扩展和高可用容灾功能。

计算层中的 MySQL 实例和分布式存储引擎的连接，可以通过多协调节点的负载均衡功能实现高可用和避免单点故障。而在传统的应用程序中，应用程序通过 JDBC 连接 MySQL 时，一般只会填写一个服务器的IP 地址和端口号。在这种架构中，为了解决 MySQL 连接的单点故障隐患，会在应用服务器和数据库服务器中间，搭建一层负载均衡服务，以实现应用程序和数据库连接的高可用切换。

 

2.2

 

传统解决方案

 

在过去企业级解决方案中，为了解决数据库的高可用问题，一般会在数据库服务器与外部网络之间安装负载均衡器（如F5），从而避免因为某台服务器宕机而对业务造成影响。

 

虽然这种硬件负载均衡技术较为成熟，在过去的企业重要系统中均有部署使用，但该种方案需要额外购买价格高昂的负载均衡设备，成本比较高。

 

3

Nginx+Keepalived 解决方案

 

3.1

 

整体架构

 

本方案与传统解决方案的思路一致，在数据库服务器与外部网络之间新增负载均衡层，唯一不同的是传统解决方案使用负载均衡器，而本方案采用 Nginx+Keepalived  来实现负载均衡。该种解决方案采用纯软件的方式，实现多机器的数据库服务器统一固定一个IP 地址和服务端口，部署方式灵活。

具体部署架构如下图所示，Nginx 反向代理三台数据库服务器的 MySQL 及负载使用实例，将3306端口映射到3307端口，而应用程序服务器会通过 Keepalived 虚拟IP地址的 Nginx 反向代理端口3307来连接三台数据库服务器的 MySQL 实例。

VRRP 技术可以将两台或者多台物理路由器设备虚拟成一个虚拟路由器，这个虚拟路由器通过虚拟IP（192.168.81.100）对外提供服务。

 

在虚拟路由器内部，同一时间只有一台物理路由器在对外提供服务，这台物理路由器被称为主路由器（Master），一般而言Master通过选举算法产生，它拥有对外服务的虚拟IP，提供各种网络功能。而其他物理路由器不拥有对外的虚拟IP，仅仅接收 Master 的 VRRP 状态通告信息，这部分路由器叫做备份路由器（Slave）。

 

当主路由器失效的时候，备份路由器重新进行选举，产生一个新的路由器成为 Master。如下图所示，当主路由器（Master）宕机后，备份路由器（Slave）进行选举成为Master，然后接管虚拟IP，继续对外提供服务，对应用程序服务器而言，整个切换过程是对应用程序透明，无任何影响。

 

3.2

 

Nginx 产品介绍

 

Nginx (engine x) 是一个高性能的 HTTP 和反向代理 web 服务器，同时也提供了 IMAP/POP3/SMTP 服务。Nginx是一款轻量级的 Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，在 BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上Nginx的并发能力在同类型的网页服务器中表现较好。

 

Nginx 有很强的代理功能，但是仅在一台服务器部署 Nginx 服务，依然存在 Nginx 单点故障的问题，因此在高可用负载均衡解决方案中，Nginx 需要结合 Keepalived 软件解决单点故障问题。

 

Nginx+Keepalived 双机实现 Nginx 反向代理服务的高可用，保证任意服务器宕机，或者是任何 Nginx 服务被意外停止，也会不影响业务的正常运作。

 

3.3

 

Keepalived 产品介绍

 

Keepalived 软件的作用是检测服务器的状态。

 

在部署了 Keepalived 服务的软件中，如果一台服务器意外宕机，或工作出现故障， Keepalived 软件将会检测到该问题服务器，并将有故障的服务器从系统中剔除。

 

同时，Keepalived 软件会自动使用其他服务器代替该问题服务器的工作。当问题服务器重新正常工作后，Keepalived 软件又会自动将原来问题服务器加入到服务器列表中。整个高可用切换工作全部由 Keepalived 软件自动感知，自动切换，无任何需人工干涉。

 

4

Nginx+Keepalived 安装部署

 

假设存在以下的服务器环境环境，后续内容将介绍如何通过 Keepalived + Nginx 软件实现 SequoiaDB 数据库的 MySQL 实例高可用部署：

 

4.1

 

部署前环境检查

 

检查 selinux 状态是否为 disabled

 

sestatus