分布式 | DBLE 负载均衡方案

最新推荐文章于 2024-09-26 20:29:20 发布
最新推荐文章于 2024-09-26 20:29:20 发布
阅读量674 收藏 7
点赞数 1
分类专栏： DBLE 文章标签： DBLE 数据库 中间件 开源 Mycat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ActionTech/article/details/95334129
版权

作者：冒飞

 

文章摘要：

DBLE 是一款企业级的开源分布式中间件，江湖人送外号 “MyCat Plus”。为了分担 DBLE 的集群管理压力同时避免单点故障，需要为 DBLE 寻找一个负载均衡方案。我们找来了 Lvs+Keepalived 为 DBLE 实现负载均衡。

 

本文概要：

一、负载均衡环境介绍

 1. 部署架构

 2. 架构软件版本

二、环境搭建

1. 安装 DBLE 2. 安装 MySQL 3. 安装 Lvs+Keepalived

三、负载均衡实验

1. 场景一：DBLE被停掉到恢复过程中的负载均衡 2. 场景二：DBLE从网络断开到恢复的过程中的负载均衡 3. 场景三：整套环境在压力测试下负载均衡的稳定性

四、环境搭建过程中可能遇到的问题

 

一、负载均衡环境介绍

1.部署架构

外部对虚拟IP地址发出请求，负载均衡层一主一备避免单点故障，然后由 Lvs+Keepalived 实现 DBLE 层的负载均衡，DBLE 层用指定规则将数据在 MySQL 集群中分片存储。

2.架构软件版本

操作系统：Ubuntu 17.10 内核：Linux R820-08 4.13.0-32-generic x86_64 GNU/Linux 负载均衡：ipvsadm：v1.2.1 Keepalived：v1.3.2 (06/17,2017) 数据库：MySQL 5.7.13 压力测试工具：sysbench v1.0 DBLE：5.6.29-dble-2.19.01.0

 

二、环境搭建

1.安装 DBLE（2台需安装DBLE机器上均执行）

下载安装包：

shell>wget -c https://github.com/actiontech/dble/releases/download/2.19.01.0%2Ftag/actiontech-dble-2.19.01.0.tar.gz

解压安装包：

shell>tar xvf actiontech-dble-2.19.01.0.tar.gz

DBLE配置说明：

库名：lvs_test ；表名:sbtest1；分片数：2；规则：简单hash 每台数据库对应1个分片，具体配置方式可参考《开源分布式中间件DBLE快速入门指南》

启动DBLE：

shell>$install/bin/dble start

2.安装 MySQL（2台需安装MySQL机器上均执行）

创建DBLE操作MySQL的账户action，并授权远程登录。

 

3.安装 Lvs+Keepalived（2台需安装负载均衡机器上均执行）

安装Keepalived和ipsadm：

shell>apt install -y ipvsadm keepalived

编辑Keepalived配置文件（master和slave做区分）:

shell>vi /etc/keepalived/keepalived.conf

其中重要配置说明：

本架构采用的是主备架构模式，Keepalived的配置包含master跟slave两个部分。

vrrpinstance模块用来定义虚拟路由器，其中部分参数说明如下：

  • state：服务器的初始状态，指定为master或slave，但实际master的选举是按照下面配置的优先级来定，优先级高的为master

  • interface：实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的

  • virtual router id：相同的VRID为一个组

  • priority：设置本节点的优先级，优先级高的为master

  • advert int：检查的时间间隔

  • virtualipaddress：虚拟ip地址

virtualserver模块，是Lvs+Keepalived中Lvs部分的配置，指定real server所属的virtual server：VIP:Vport

  • delayloop：服务轮询的时间隔

  • lbalgo：LVS调度算法，本次测试使用的是rr

  • lbkind：LVS集群模式，本次测试使用的是DR

  • protocol：健康检查方式

  • realserver：后端真实节点主机的权重等设置

  • weight ：每台的权重

  • HTTPGET：健康检查方式

  • connecttimeout：连接超时时间

  • nbgetretry：重连次数

  • delaybefore_retry：重连间隔

 

keepalived.conf（master）

global_defs {
router_id LVS_MASTER
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER
interface eno3
virtual_router_id 51
priority 150
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.186.17.150
}
}
virtual_server 10.186.17.150 8066 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
real_server 10.186.17.105 8066 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8066
}
}

real_server 10.186.17.107 8066 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8066
}
}
}

keepalived.conf（slave）

global_defs {
router_id LVS_SLAVE
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state BACKUP
interface eno3
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
10.186.17.150
}
}
virtual_server 10.186.17.150 8066 {
delay_loop 6
lb_algo rr
lb_kind DR
protocol TCP
real_server 10.186.17.105 8066 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8066
}
}

real_server 10.186.17.107 8066 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 8066
}
}
}

启动Keepalived：

shell>systemctl start keepalived

检测Keepalived状态：

shell>systemctl status keepalived

master状态

keepalived.service - Keepalive Daemon (LVS and VRRP)
Loaded: loaded (/lib/systemd/system/keepalived.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2019-03-11 15:17:10 CST; 20h ago
Process: 13289 ExecStart=/usr/sbin/keepalived $DAEMON_ARGS (code=exited, status=0/SUCCESS)
Main PID: 13300 (keepalived)
Tasks: 3 (limit: 14745)
Memory: 3.7M
CPU: 11.980s
CGroup: /system.slice/keepalived.service
├─13300 /usr/sbin/keepalived
├─13304 /usr/sbin/keepalived
└─13306 /usr/sbin/keepalived

Mar 11 15:17:16 R820-02 Keepalived_healthcheckers[13304]: Removing service [10.186.17.107]:8066 from VS [10.186.17.150]:8066
Mar 11 15:17:19 R820-02 Keepalived_healthcheckers[13304]: TCP connection to [10.186.17.105]:8066 failed.
Mar 11 15:17:19 R820-02 Keepalived_healthcheckers[13304]: Check on service [10.186.17.105]:8066 failed after 1 retry.
Mar 11 15:17:19 R820-02 Keepalived_healthcheckers[13304]: Removing service [10.186.17.105]:8066 from VS [10.186.17.150]:8066
Mar 11 15:17:19 R820-02 Keepalived_healthcheckers[13304]: Lost quorum 1-0=1 > 0 for VS [10.186.17.150]:8066
Mar 11 15:28:55 R820-02 Keepalived_healthcheckers[13304]: TCP connection to [10.186.17.107]:8066 success.
Mar 11 15:28:55 R820-02 Keepalived_healthcheckers[13304]: Adding service [10.186.17.107]:8066 to VS [10.186.17.150]:8066
Mar 11 15:28:55 R820-02 Keepalived_healthcheckers[13304]: Gained quorum 1+0=1 <= 1 for VS [10.186.17.150]:8066
Mar 11 15:40:58 R820-02 Keepalived_healthcheckers[13304]: TCP connection to [10.186.17.105]:8066 success.
Mar 11 15:40:58 R820-02 Keepalived_healthcheckers[13304]: Adding service [10.186.17.105]:8066 to VS [10.186.17.150]:8066

slave状态

keepalived.service - Keepalive Daemon (LVS and VRRP)
Loaded: loaded (/lib/systemd/system/keepalived.service; enabled; vendor preset: enabled)
Active: active (running) since Mon 2019-03-11 16:13:35 CST; 19h ago
Process: 38895 ExecStart=/usr/sbin/keepalived $DAEMON_ARGS (code=exited, status=0/SUCCESS)
Main PID: 38909 (keepalived)
Tasks: 3 (limit: 14745)
Memory: 3.5M
CPU: 11.928s
CGroup: /system.slice/keepalived.service
├─38909 /usr/sbin/keepalived
├─38910 /usr/sbin/keepalived
└─38912 /usr/sbin/keepalived

Mar 11 16:13:35 R820-01 Keepalived_vrrp[38912]: Registering Kernel netlink command channel
Mar 11 16:13:35 R820-01 Keepalived_healthcheckers[38910]: Unknown keyword 'nb_get_retry'
Mar 11 16:13:35 R820-01 Keepalived_healthcheckers[38910]: Unknown keyword 'nb_get_retry'
Mar 11 16:13:35 R820-01 Keepalived_vrrp[38912]: Registering gratuitous ARP shared channel
Mar 11 16:13:35 R820-01 Keepalived_vrrp[38912]: Opening file '/etc/keepalived/keepalived.conf'.
Mar 11 16:13:35 R820-01 Keepalived_healthcheckers[38910]: Using LinkWatch kernel netlink reflector...
Mar 11 16:13:35 R820-01 Keepalived_healthcheckers[38910]: Activating healthchecker for service [10.186.17.105]:8066
Mar 11 16:13:35 R820-01 Keepalived_healthcheckers[38910]: Activating healthchecker for service [10.186.17.107]:8066
Mar 11 16:13:35 R820-01 Keepalived_vrrp[38912]: Using LinkWatch kernel netlink reflector...
Mar 11 16:13:35 R820-01 Keepalived_vrrp[38912]: VRRP_Instance(VI_1) Entering BACKUP STATE

配置real server（在两台DBLE环境中均执行）

shell>/sbin/ifconfig eno3:0 10.186.17.150 broadcast 10.186.17.150 netmask 255.255.255.255 up
shell>/sbin/route add -host 10.186.17.150 dev eno3:0
shell>sysctl -w net.ipv4.conf.all.arp_ignore=1
shell>sysctl -w net.ipv4.conf.all.arp_announce=2
shell>sysctl -w net.ipv4.conf.lo.arp_ignore=1
shell>sysctl -w net.ipv4.conf.lo.arp_announce=2
shell>sysctl -p

验证:

在负载均衡服务器上执行：ipvsadm -ln

修改timeout值:

  • 查看默认超时时间

shell>ipvsadm -L --timeout

说明：一条TCP的连接经过Lvs后，Lvs会把记录保存15分钟，容易对测试过程中的观测过程造成不便。

  • 调整超时时间

shell>ipvsadm --set 1 2 1

三、负载均衡实验

数据准备：用sysbench用具的插入数据脚本为两台MySQL的lvs_test库创建数据表并插入数据。测试数据一共10000条，根据分片数和规则导致数据各5000条。

shell>cd $sysbench/bin

//进入sysbench安装目录

shell>./sysbench --mysql-db=lvs_test --db-driver=mysql --mysql-host=10.186.17.150 \
--mysql-port=8066 --mysql-table-engine=innodb --mysql-user=action \
--oltp_auto_inc=off --mysql-password=action --test=../db/insert.lua \
--oltp_tables_count=1 --oltp-table-size=10000 prepare

1. 场景一：DBLE被停掉到恢复过程中的负载均衡

步骤一：使用sysbench对vip加压

shell>./sysbench --mysql-db=lvs_test --mysql-host=10.186.17.150 \
--mysql-port=8066 --mysql-table-engine=innodb --mysql-user=action \
--mysql-password=action --test=../db/select.lua --oltp_tables_count=1 \
--oltp-table-size=10000 --num-threads=200 --report-interval=1 \
--default-charset=utf8 --max-time=600000 --max-requests=0 \
--percentile=95 --mysql-ignore-errors=2013 run

步骤二：观测负载均衡上连接的分配情况

shell>ipvsadm -ln

结论：存活连接各100个，符合比重1:1的预期。

步骤三：停止DBLE1，观测负载均衡上连接的情况

进入DBLE目录执行：

shell>$install/bin/dble stop

检测DBLE状态：

shell>$install/bin/dble status

负载均衡情况：

结论：连接异常的DBLE1被踢出，所有的流量全部打到DBLE2上

步骤四：恢复DBLE1，观测未新建连接情况下（sysbench为长连接）负载均衡上连接的情况

进入DBLE目录执行：

shell>$install/bin/dble start

检测DBLE状态：

shell>$install/bin/dble status

负载均衡情况：

结论：DBLE1被重新加进来，但原有的存活的长连接不会被转移到DBLE1上

步骤五：关闭已有长连接，新建连接，查看负载均衡上连接的情况

结束原有的sysbench压力后，重复步骤一 

负载均衡情况：

结论：该场景中DBLE实现负载均衡。

 

2.场景二： DBLE从网络断开到恢复的过程中的负载均衡

步骤一：使用sysbench对vip加压

sysbench命令

shell>./sysbench --mysql-db=lvs_test --mysql-host=10.186.17.150 \
--mysql-port=8066 --mysql-table-engine=innodb --mysql-user=action \
--mysql-password=action --test=../db/select.lua --oltp_tables_count=1 \
--oltp-table-size=10000 --num-threads=200 --report-interval=1 \
--default-charset=utf8 --max-time=600000 --max-requests=0 \
--percentile=95 --mysql-ignore-errors=2013 run

步骤二：观测负载均衡上连接的分配情况

命令：ipvsadm -ln

结论：存活连接各100个，符合比重1:1的预期。

步骤三：断开vip到DBLE1的网络，观测负载均衡上连接的情况

进入DBLE1环境执行：

shell>iptables -A INPUT -p tcp --dport 8066 -j DROP

负载均衡情况：

结论：连接异常的DBLE1被踢出，所有的流量全部打到DBALE2上。

步骤四：恢复vip到DBLE1的网络，观测未新建连接情况下（sysbench为长连接）负载均衡上连接的情况

进入DBLE1环境执行：

shell>iptables -D INPUT -p tcp --dport 8066 -j DROP

负载均衡情况：

结论：DBLE1被重新加进来，但原有存活的长连接不会被转移到DBLE1上。

步骤五：关闭已有长连接，新建连接，查看负载均衡上连接的情况

 结束原有的sysbench压力后，重复步骤一

负载均衡情况：

结论：该场景中DBLE实现负载均衡。

 

3.场景三：整套环境在压力测试下负载均衡的稳定性

稳定性sysbench命令

shell>nohup ./sysbench --mysql-db=lvs_test --mysql-host=10.186.17.150 \
--mysql-port=8066 --mysql-table-engine=innodb --mysql-user=action \
--mysql-password=action --test=../db/select.lua --oltp_tables_count=1 \
--oltp-table-size=10000 --num-threads=1024 --oltp-read-only=off \
--report-interval=1 --default-charset=utf8 --max-time=950400 \
--max-requests=0 --percentile=95 run &

测试结果：

结论：11天的稳定性测试没有出现异常， Lvs+Keepalived完成了对DBLE的负载均衡实践，适应性及稳定性得到了验证。

总结：Lvs+Keepalived实现了DBLE负载均衡方案，压力测试中配合过程无异常，组件之间适应性好，整体架构稳定。

 

四、环境搭建过程中可能遇到的问题

1. Keepalived slave报错

原因：缺少包：libipset.so.3 解决方案：apt install ipset

2. 注意防火墙和selinux可能引起的网络连通性的问题

爱可生开源社区
关注
专栏目录
dble是基于mysql的高可扩展性的分布式中间件
08-08
分布式中间件dble（Double Write Binary Log Engine）是一种基于MySQL的高可扩展性解决方案，其设计目标是为了处理大规模数据存储和处理的需求。它通过将数据横向切分，实现了对MySQL数据库的透明分片，从而提高了...
探秘Dble：分布式数据库中间件的新星
gitblog_00045的博客
04-09 486
探秘Dble：分布式数据库中间件的新星 dbleA High Scalability Middle-ware for MySQL Sharding项目地址:https://gitcode.com/gh_mirrors/db/dble 在数字化转型的大潮中，数据量爆炸性增长，对数据库性能和扩展性的要求也随之提高。正是这样一款为应对大规模数据处理挑战而设计的高性能、高可用的分布式数据库中间件。本文将...
sysbench工具介绍及源码分析(三)
最新发布
poseidon的博客
09-26 921
本文会详细介绍两个关键流程函数：a）prepare_statements，b）event。
dble-安装、配置、读写分离、分库分表
aohexi1719的博客
08-12 868
dble-安装、配置、读写分离、分库分表 转载于:https://www.cnblogs.com/allenhu320/p/11339104.html
dble高可用mysql_Keepalived+DBLE+MHA 高可用群集配置
weixin_42443992的博客
01-19 426
架构说明mysql一主两从，使用MHA架构mysql主，MHA master节点：10.10.10.62:3306mysql从，MHA node节点：10.10.10.136:3306mysql从，MHA node节点：10.10.10.76:3306dble1(Keepalived)：10.10.10.63dble1(Keepalived)：10.10.10.129上述架构已经安装好，此处不再赘...
数据库中间件DBLE学习(一) 基本介绍和快速搭建
BuddyYuan的学习博客
12-18 5186
dble基本架构简介 dble是上海爱可生信息技术股份有限公司基于mysql的高可用扩展性的分布式中间件。江湖人送外号MyCat Plus。开源地址 我们首先来看架构图，外部应用通过NIO/AIO进行连接操作。这里首先我们得介绍一下NIO/AIO是什么概念。 BIO 即传统的Blocking I/O,是JDK1.4之前的唯一选择。同步阻塞I/O模式，并发处理能力低。 NIO 也叫Non-Blo...
银行分布式数据库改造方案实践与探索 -王辉1
08-03
逻辑拆分策略，如hash、range、list等分片算法，被用来均匀分布数据到各个数据节点，确保负载均衡。 最后，数据分布的策略也是分布式数据库设计的重要部分。通过逻辑拆分，可以将数据表的分片键根据特定算法分配到...
开源MySQL分布式中间件剖析.pptx
10-14
此外，dble还对复杂查询进行了支持和改进，同时减少了非核心功能，如异构数据库的支持，以更专注于提供稳定、高效的分布式数据库解决方案。该项目的源代码托管在GitHub上，可通过以下链接访问：...
dble集群搭建
u013471361的专栏
11-17 846
dble安装步骤
第二十一周-day91-数据库day13-分布式架构
linux丶晨星
08-21 200
文章目录三、分布式数据库架构-MyCAT3.1 环境准备：3.2 2 删除历史环境：3.3 创建相关目录初始化数据3.4 准备配置文件和启动脚本3.5 修改权限，启动多实例3.6 节点主从规划3.7 分片规划3.8 开始配置3.9 检测主从状态3.10 MySQL分布式架构介绍4. MyCAT安装4.1 预先安装Java运行环境4.2 上传到/application4.3 启动和连接4.4. 测...
Keepalived+Lvs 原来如此简单，so easy
小楼一夜听春雨，深巷明朝卖杏花
11-25 753
前言 在lvs架构中，当后端的rs宕掉时，调度器仍会把请求转发到宕掉的rs上，而使用keepalived就可以解决该问题。 keepalived已经嵌入了lvs功能，无需使用ipvsadm & 无需编写lvs相关脚本。完整的keepalived+lvs需要两台调度器实现高可用，提供调度服务的只需要一台，另外一台作为备用。 用了lvs加keepalived可以使用一个VIP，LVS和keepalived整合的话，哪我们不需要手工去配置VIP操作了 [root@localhost ~]#...
DBLE分库分表中间件
别浪
05-24 3070
1.dble和mycat分库分表中间件 1.1分库分表中间件原理 1.分析SQL语句 2.根据SQL语义，将SQL拆分成多个，发送至数据节点 3.将多个数据节点的结果聚集，返回客户端 1.2dble 1.高性能、高可用的MySQL分库分表中间件 2.上号爱可生公司开发 3.完全开源 4.基于开源项目MyCat 1.3dble对MyCat做的增强 1.缺陷修复 2.实现改进，插入语句语法增强，用户连接欸书增强 3.功能增强，提升性能 4.功能裁剪，去掉不用的算法 1.4dbl.
服务器部署dble全流程
zll_1234的博客
06-04 1088
我这里使用的版本是actiontech-dble-2.20.04.0.tar， 服务器 IP地址 描述 DBLE服务器 192.168.56.185 DBLE实例，数据库中间件，负责接收SQL进行路由分发 MySQL A服务器 192.168.56.181 物理实例A，将会创建db1,db3,db5三个schema MySQL B服务器 192.168.56.182 物理实例B，将会创建db2,db4,db6三个schema 开始安装： 一、首先需要在dble Ser
centos7 keepalived+mysql双主高可用部署
hfaul的博客
09-02 1699
centos7 keepalived+mysql双主高可用部署 一、简介 为什么要使用双主部署呢？ 在一台mysql主机情况下，如果该主机存在宕机或者其他什么故障，直接会影响整个服务的不可用。为了确保整体服务的高可用性，不仅要在服务层实现多节点的集群部署，还需要在数据库层实现多节点集群部署。如有两台mysql数据库服务器，若其中有一台mysql服务器故障后，另一台可以立马接替工作。 Keepalived+mysql双主高可用方案原理？ Keepalived+mysql双主来实现MySQL-HA，我
keekeepalived 报错 Keepalived_healthcheckers[1127] Unknown keyword 'nb_get_retry'
qq_36801585的博客
03-27 4824
keepalived 报错： Keepalived_healthcheckers[1127]: Unknown keyword ‘nb_get_retry’ 完整的报错如下 Mar 26 21:09:19 director Keepalived_healthcheckers[1127]: Unknown keyword 'nb_get_retry' 而我只在tcp_check 用到了nb_get...
【成为架构师2-7】TCP负载均衡，长连接的负载均衡策略
Nevercome
07-06 3515
接入层，TCP：长连接的负载均衡策略
分布式数据库DBLE
热门推荐
Peter的博客
08-31 3万+
                                                   分布式数据库DBLE 第一章 绪论 研究背景 目前，在电商、金融、O2O、零售、电信等行业普遍存在用户基数大，营销活动频繁，核心交易系统响应日益变慢的问题，随着业务数据增长迅速，超过单机数据库的承受极限，制约业务的发展；在电力、气象、农业、智能制造等行业海量的数据远远超过单机数据库的承受极...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值