中间件说明
HAProxy
HAProxy 是一个开源的高性能的反向代理或者说是负载均衡服务软件之一,它支持双机热备、虚拟主机、基于TCP和HTTP应用代理等功能。其配置简单,而且拥有很好的对服务器节点的健康检查功能(相当于 keepalived 健康检查),当其代理的后端服务器出现故障时,HAProxy 会自动的将该故障服务器摘除,当服务器的故障恢复后 HAProxy 还会自动将 RS 服务器。
HAProxy 特别适用于那些负载特大的 web 站点,这些站点通常又需要会话保持或七层处理。HAProxy 运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的 web 服务器不被暴露到网络上。
HAProxy 软件引入了 frontend,backend 的功能,frontend(acl规则匹配)可以根据任意HTTP请求头做规则匹配,然后把请求定向到相关的 backend(server pools等待前端把请求转过来的服务器组)。通过 frontend 和 backup,我们可以很容易的实现 HAProxy 的7层代理功能,HAProxy 是一款不可多得的优秀代理服务软件。
Keepalived
Keepalived 是以 VRRP协议 为实现基础的,VRRP 全称 Virtual Router Redundancy Protocol,即虚拟路由冗余协议。
虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个 Master 和多个 Backup,Master 上面有一个对外提供服务的 vip(该路由器所在局域网内其他机器的默认路由为该 vip),Master 会发组播,当 Backup 收不到 vrrp 包时就认为 Master 宕掉了,这时就需要根据 VRRP 的优先级来选举一个 Backup 当 Master。这样的话就可以保证路由器的高可用了。
Keepalived 主要有三个模块,分别是 core、check 和 vrrp。core模块为 Keepalived 的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。
1.HAProxy
安装
yum -y install haproxy
配置
vi /etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
stats socket /var/lib/haproxy/stats
defaults
mode tcp
log global
option dontlognull
option redispatch
retries 3
timeout http-request 10s
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 600
# 配置查看负载信息管理页面
listen stats
mode http
bind :8888
stats enable
stats hide-version
stats uri /haproxyadmin?stats
stats realm Haproxy\ Statistics
stats auth admin:admin
# MySQL 负载配置
listen proxy-mysql
bind 0.0.0.0:23306
mode tcp
balance roundrobin
option tcplog
#option mysql-check user haproxy
server MySQL1 192.168.9.203:3306 check weight 1 maxconn 2000
server MySQL2 192.168.9.202:13306 check weight 1 maxconn 2000
option tcpka
注释:
global
log 127.0.0.1 local2 //日志定义级别
chroot /var/lib/haproxy //当前工作目录
pidfile /var/run/haproxy.pid //进程id
maxconn 4000 //最大连接数
user haproxy //运行改程序的用户
group haproxy
daemon //后台形式运行
stats socket /var/lib/haproxy/stats
defaults
mode tcp //haproxy运行模式(http | tcp | health)
log global
option dontlognull
option redispatch //serverId对应的服务器挂掉后,强制定向到其他健康的服务器
retries 3 //三次连接失败则服务器不用
timeout http-request 10s
timeout queue 1m
timeout connect 10s //连接超时
timeout client 1m //客户端超时
timeout server 1m //服务器超时
timeout http-keep-alive 10s
timeout check 10s //心跳检测
maxconn 600 //最大连接数
listen stats //配置haproxy状态页(用来查看的页面)
mode http
bind :8888
stats enable
stats hide-version //隐藏haproxy版本号
stats uri /haproxyadmin?stats //一会用于打开状态页的uri
stats realm Haproxy\ Statistics //输入账户密码时的提示文字
stats auth admin:admin //用户名:密码
# MySQL 负载配置
listen proxy-mysql
bind 0.0.0.0:23306 # 监听端口
mode tcp # 模式
balance roundrobin # 负载均衡的方式,轮询(平均)方式
option tcplog # 允许记录tcp 连接的状态和时间
server MySQL1 192.168.9.203:3306 check weight 1 maxconn 2000
server MySQL2 192.168.9.202:13306 check weight 1 maxconn 2000
option tcpka # 是否允许向server和client发送keepalive
启动
systemctl restart haproxy
tail -f /var/log/messages #出错时查看日志
查看
http://192.168.9.203:8888/haproxyadmin?stats
http://192.168.9.202:8888/haproxyadmin?stats
安装 HAProxy 的步骤在两台设备相同。
2.Keepalived
安装
yum -y install keepalived
配置
vi /etc/keepalived/keepalived.conf
#简单的头部,这里主要可以做邮件通知报警等的设置,此处就暂不配置了;
global_defs {
notificationd LVS_DEVEL
}
#预先定义一个脚本,方便后面调用,也可以定义多个,方便选择;
vrrp_script chk_haproxy {
script "/etc/keepalived/chk.sh" #具体脚本路径
interval 2 #脚本循环运行间隔
}
#VRRP虚拟路由冗余协议配置
vrrp_instance VI_1 { #VI_1 是自定义的名称;
state BACKUP #MASTER表示是一台主设备,BACKUP表示为备用设备【我们这里因为设置为开启不抢占,所以都设置为备用】
nopreempt #开启不抢占
interface ens33 #指定VIP需要绑定的物理网卡
virtual_router_id 11 #VRID虚拟路由标识,也叫做分组名称,该组内的设备需要相同
priority 121 #定义这台设备的优先级 1-254;开启了不抢占,所以此处优先级必须高于另一台
advert_int 1 #生存检测时的组播信息发送间隔,组内一致
authentication { #设置验证信息,组内一致
auth_type PASS #有PASS 和 AH 两种,常用 PASS
auth_pass asd #密码
}
virtual_ipaddress {
192.168.9.111 #指定VIP地址,组内一致,可以设置多个IP
}
track_script { #使用在这个域中使用预先定义的脚本,上面定义的
chk_haproxy
}
notify_backup "systemctl restart haproxy" #表示当切换到backup状态时,要执行的脚本
notify_fault "systemctl stop haproxy" #故障时执行的脚本
}
state:如果是主机的话,值要写成 MASTER,备机写成 BACKUP
interface:物理机网卡名称,我的这个虚拟机上的现有网卡名称是 ens33
priority: 定义这台设备的优先级 1-254;备机小于主机 例:120
virtual_ipaddress:指定的虚拟 IP,可以设置多个,但是一定要是在当前网段,否则设置了也无法访问
编写脚本
vi /etc/keepalived/chk.sh
#!/bin/bash
#
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
systemctl stop keepalived
fi
chmod 755 /etc/keepalived/chk.sh
启动
systemctl restart keepalived
查看
[root@skx3 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 00:0c:29:79:a9:4f brd ff:ff:ff:ff:ff:ff
inet 192.168.9.203/24 brd 192.168.9.255 scope global noprefixroute ens33
valid_lft forever preferred_lft forever
inet 192.168.9.111/32 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::4434:d83c:fc2e:c8d3/64 scope link tentative noprefixroute dadfailed
valid_lft forever preferred_lft forever
inet6 fe80::e874:ac0e:dcff:56db/64 scope link noprefixroute
valid_lft forever preferred_lft forever
注:访问http://192.168.9.111:8888/haproxyadmin?stats
kill看到的pid
刷新页面查看结果(高可用)
重启杀死服务器的haproxy以及keepalived,刷新页面发现pid不变化(不抢占)
systemctl restart haprox
systemctl restart keepalived