1、环境介绍
- 使用虚拟机完成一主两从(主从搭建参考我之前的文章“搭建MySql主从复制”)
- 主(192.168.119.149)
- 从1(192.168.119.150)
- 安装 keepalived
- 安装 haproxy
- 从2(192.168.119.151)
- 安装 keepalived
- 安装 haproxy
- MySql版本:8.0.21
- CentOS Linux release 7.9.2009 (Core)
- keepalived-1.3.5
- haproxy-1.5.18
说明:
- 本文章的负载均衡和高可用是体现在两个从服务器上的。一般来说高可用是用在主服务器中的,例如双主多从的结构,双主做keepalived的高可用(当然也可以加上haproxy做负载均衡),多从做haproxy的负载均衡。
- 【keepalived】和 【haproxy】的安装一般是不和业务服务器一起的,是分开部署的。本文是介于服务器数量问题,安装到了一起。
2、haproxy介绍
HAProxy是一种免费的、非常快速和可靠的反向代理,为基于TCP和HTTP的应用程序提供高可用性、负载平衡和代理。
特点:
- 拥有功能强大的后端服务器的状态监控 web 页面,可以实时了解设备的运行状态 ,还可实现设备上下线等简单操作。
- 支持多种负载均衡调度算法,并且也支持 session 保持。
- HAProxy 还拥有功能强大的 ACL 支持,可灵活配置路由功能,实现动静分离。
- 可靠性与稳定性都非常出色。
- 支持长连接、短连接和日志功能,可根据需要灵活的配置。
- 支持两种代理模式:TCP(四层)和HTTP(七层),支持虚拟主机。
3、keepalived介绍
Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。
Keepalived工作在TCP/IP 参考模型的 三层、四层、五层,也就是分别为:网络层,传输层和应用层,根据TCP、IP参数模型隔层所能实现的功能,Keepalived运行机制如下:
在网络层:我们知道运行这4个重要的协议,互联网络IP协议,互联网络可控制报文协议ICMP、地址转换协议ARP、反向地址转换协议RARP,在网络层Keepalived在网络层采用最常见的工作方式是通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似与Ping的功能),如果某个节点没有返回响应数据包,那么认为该节点发生了故障,Keepalived将报告这个节点失效,并从服务器集群中剔除故障节点。
在传输层:提供了两个主要的协议:传输控制协议TCP和用户数据协议UDP,传输控制协议TCP可以提供可靠的数据输出服务、IP地址和端口,代表TCP的一个连接端,要获得TCP服务,需要在发送机的一个端口和接收机的一个端口上建立连接,而Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常,比如对于常见的WEB服务器80端口。或者SSH服务22端口,Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回,就认为这些端口发生异常,然后强制将这些端口所对应的节点从服务器集群中剔除掉。
在应用层:可以运行FTP,TELNET,SMTP,DNS等各种不同类型的高层协议,Keepalived的运行方式也更加全面化和复杂化,用户可以通过自定义Keepalived工作方式,例如:可以通过编写程序或者脚本来运行Keepalived,而Keepalived将根据用户的设定参数检测各种程序或者服务是否允许正常,如果Keepalived的检测结果和用户设定的不一致时,Keepalived将把对应的服务器从服务器集群中剔除。
keepalived介绍参考:Keepalived详细介绍简介
4、安装工具
4.1、haproxy安装
4.1.1、在两个从服务器【192.168.119.150】【192.168.119.151】上安装haproxy负载均衡器,安装结果如下图。
#安装haproxy
yum install haproxy -y
4.1.2、配置haproxy的配置文件,配置文件目录地址【/etc/haproxy/haproxy.cfg】。
#打开配置文件
vim /etc/haproxy/haproxy.cfg
#删除原有的配置,写入以下配置到文件中
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
mode tcp
log global
option tcplog
option dontlognull
option http-server-close
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 3000
frontend mysql
bind 0.0.0.0:3307
mode tcp
log global
default_backend mysql_server
backend mysql_server
balance roundrobin
server mysql1 192.168.119.150:3306 check inter 5s rise 2 fall 3
server mysql2 192.168.119.151:3306 check inter 5s rise 2 fall 3
listen stats
mode http
bind 0.0.0.0:1080
stats enable
stats hide-version
stats uri /haproxyadmin?stats
stats realm Haproxy\ Statistics
stats auth admin:admin
stats admin if TRUE
4.1.3、启动haproxy负载均衡;使用命令【ps -ef | grep haproxy】查看是否启动,结构如下图。
#启动命令
/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg
4.1.4、在【4.1.2】的配置文件中有【listen stats】项,这项配置的是WEB页面的的访问信息。从中可以看到需要开放【1080】端口,所以需要所在服务器开放【1080】端口,端口开放可以参考我的一篇随笔【在Linux下开启指定端口号】。而访问web页面的格式是【本机IP地址+端口+配置文件中[backend mysql_server]项下的[stats uri]值】,密码是配置文件中【listen stats】 项的 【stats auth】值,冒号前面是账号,后面是密码。在【frontend mysql】项中也有个【3307】的端口别忘开放了。
4.2、keepalived安装
4.2.1、从服务器上都要安装keepalived,首先要安装它的相关依赖。
#先安装keepalived的相关依赖
yum install gcc gcc-c++ openssl openssl-devel
4.2.2、下载并安装keepalived,结果如下图。
#yun安装keepalivedll
yum install keepalived -y
4.2.3、设置 keepalived 服务的开机启动,结果如图。
#设置开机启动命令
chkconfig keepalived on
4.2.4、配置两个从机【192.168.119.150、192.168.119.151】的 keepalived 配置文件。
#使用查找命令找到配置文件,文件路径【/etc/keepalived/keepalived.conf】
find / -name keepalived.conf
#使用 vim 命令打开配置文件
vim /etc/keepalived/keepalived.conf
#写入以下配置内容-----------------------------
! Configuration File for keepalived
global_defs {
router_id LVS_MASTER
}
vrrp_script chk_haproxy {
script "/etc/keepalived/haproxy_check.sh" # 检测 haproxy 状态的脚本路径
interval 2 # 检测时间间隔
weight 2 # 如果条件成立,权重+2
}
vrrp_instance VI_1 {
state BACKUP #该参数可以指定为master或者backup的一种,master为工作状态,backup为备用状态(指定两个从服务器中keepalived的主从关系,一个配置成MASTER,一个配置成BACKUP)。
interface ens33 # 该参数指定运行VIP的网卡,即virtual_ipaddress虚拟IP的网卡。
virtual_router_id 79 #该参数指定了VRRP用户组,互为主备的设备应当处于同一个VRRP用户组内,因此该参数应该配置相同(我两个从服务器算是一组,所以这个ID两个从服务器是一样的)。
priority 90 #该参数指定本节点keepalived的优先级,用来选举master的,要成为 master,该项取值范围是1-255(在此范围之外会被识别成默认值100),一般master高于backup。
advert_int 1 #该参数指定master与backup进行同步检查的时间间隔。默认1s
nopreempt
authentication {
auth_type PASS #权限认证配置
auth_pass 1234
}
virtual_ipaddress {
192.168.119.201 #虚拟IP地址
}
track_script {
chk_haproxy
}
}
启动所有服务器中的 keepalived
#启动
keepalived -f /etc/keepalived/keepalived.conf
4.2.5、编写 haproxy 状态检测脚本,脚本的位置在【/etc/keepalived/haproxy_check.sh】就是keepalived配置文件中的【vrrp_script chk_haproxy】项。
#!/bin/bash
START_HAPROXY="/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg" #haproxy启动命令
LOG_FILE="/usr/local/keepalived/log/haproxy-check.log" # 日志文件
HAPS=`ps -C haproxy --no-header |wc -l` # 检测haproxy的状态,0代表未启动,1已经启动
date "+%Y-%m-%d %H:%M:%S" >> $LOG_FILE #在日志文件当中记录检测时间
echo "check haproxy status" >> $LOG_FILE # 记录haproxy的状态
if [ $HAPS -eq 0 ];then #执行haproxy判断
echo $START_HAPROXY >> $LOG_FILE #记录启动命令
/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg #启动haproxy
sleep 3
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
echo "start haproxy failed, killall keepalived" >> $LOG_FILE
killall keepalived
service keepalived stop
fi
fi
5、测试
5.1、在windows电脑上打开DOS命令窗口,输入以下命令测试负载均衡。结果如下图,server_id的值在2和3之间来回响应,表示负载均衡配置成功。
#测试【192.168.119.150】服务器上的负载均衡命令
mysql -uslave -proot -P3307 -h192.168.119.150 -e "show variables like 'server_id'";
5.2、把【5.1】命令中的IP换成【192.168.119.151】再测试下负载均衡是否配置成功。结果如下图,表示成功。
5.3、在 keepalived 配置文件中我们设置了一个虚拟IP用于对外的访问,所以现在把【5.1】步骤命令中的IP换成虚拟IP【192.168.119.201】后再测试是否能负载均衡。结果如下图,一样可以进行负载均衡的调度。
5.4、两个从机都安装了 haproxy 和 keepalived 实现了负载均衡和高可用。那么把【192.168.119.150】的虚拟机停机看看运行结果。结果如下图,通过虚拟IP【192.168.119.201】还是可以正常访问数据库,现在只能访问到一台MySQL了,【server_id=3】也就是【192.168.119.151】的服务器。这说明高可用配置也成功了。
#关停【192.168.119.150】的 mysql,模拟宕机
service mysql stop
5.5、现在我们再把【192.168.119.150】的虚拟机再运行起来,查看下效果。结果如下图,之前停机的服务又回到了负载均衡的队伍中。
6、总结
本文章中主要介绍了负载均衡和高可用的相关知识点,以及实现所对应的工具,并且对工具的安装和配置进行了介绍。在安装和配置之前你首先要明白自己所要架构的体系和形式,这样你在搭建负载均衡和高可用的时候才思路清晰。
本人也是在学习和摸索道路中,如文中有不恰当处,欢迎大家评论指出!!