LVS+Keepalived高可用群集实战部署

1 LVS+Keepalived

1.1 LVS—Linux 虚拟服务器

Linux 虚拟服务器(Linux Virtual Server)：LVS 实际上相当于基于 IP 地址的虚拟化应用， 为基于 IP 地址和内容请求分发的负载均衡提出了一种高效的解决方法

1.2 keepalived 及其工作原理

Keepalived 是一个基于 VRRP 协议来实现的 LVS 服务高可用方案，可以解决静态路由出现的单点故障问题。
Keepalived 工具支持故障自动切换（Failover）；支持节点健康状态检查（Health Checking）
判断 LVS 负载调度器、节点服务器的可用性，当 master 主机出现故障及时切换到 backup 节点保证业务正常，当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。
在一个 LVS 服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟 IP，主服务器会发送 VRRP 通告信息给备份服务器，当备份服务器收不到 VRRP 消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟 IP，继续提供服务，从而保证了高可用性。

1.3 Keepalived 体系主要模块及其作用

keepalived体系架构中主要有三个模块，分别是 core、check 和 vrrp

• core 模块：为 keepalived 的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
• vrrp 模块：是来实现 VRRP 协议的。
• check 模块：负责健康检查，常见的方式有端口检查及URL检查。

2 Keepalived 实现原理剖析

• keepalived 采用 VRRP 热备份协议实现 Linux 服务器的多机热备功能

• VRRP（虚拟路由冗余协议）是针对路由器的一种备份解决方案。

• 由多台路由器组成一个热备份组，通过共用的虚拟IP地址对外提供服务

• 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

• 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

3 LVS+Keepalived 高可用群集部署

3.1 环境配置

主机	操作系统	IP地址	软件/安装包/工具
主DR服务器	CentOS7	192.168.16.16	ipvsadm、keepalived
备DR服务器	CentOS7	192.168.16.18	ipvsadm、keepalived
NFS服务器	CentOS7	192.168.16.20	rpcbind、nfs-utils
Web 服务器1	CentOS7	192.168.16.22	rpcbind、nfs-utils、httpd
Web 服务器1	CentOS7	192.168.16.24	rpcbind、nfs-utils、httpd
VIP		192.168.16.100	——
客户机	Window7	192.168.16.200	——

3.1 配置主备负载调度器（192.168.16.16、192.168.16.18相同）

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

yum -y install ipvsadm keepalived
modprobe ip_vs  #加载ip_vs模块
cat /proc/net/ip_vs  #查看ip_vs版本信息

3.1.1 配置 keeplived（主、备DR服务器上都要设置）

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
......
global_defs {						#定义全局参数

10行修改，邮件服务指向本地
smtp_server 127.0.0.1
注释掉后面四行

12行修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
router_id LVS_01


14行修改，vrrp_strict：严格遵守VRRP协议。下列情况将会阻止启动Keepalived：1. 没有VIP地址。2. 单播邻居。3. 在VRRP版本2中有IPv6地址。
#vrrp_strict		#加注释

}
vrrp_instance VI_1 {	#定义VRRP热备实例参数

20行修改，指定热备状态，主为MASTER，备为BACKUP
state MASTER

21行修改，指定承载vip地址的物理接口
interface ens33

22行修改，指定虚拟路由器的ID号，每个热备组保持一致
virtual_router_id 10

23行修改，指定优先级，数值越大优先级越高，主为100，备为99
priority 100
advert_int 1					#通告间隔秒数(心跳频率)
authentication {				#定义认证信息,每个热备组保持一致
auth_type PASS				    #认证类型

27行修改，指定验证密码，主备服务器保持一致
auth_pass 121212
}

virtual_ipaddress {				#指定群集vip地址
192.168.16.100
}
}

34行修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.16.100 80 {
delay_loop 6					#健康检查的间隔时间(秒)
lb_algo rr						#指定调度算法，轮询(rr)

37行修改，指定群集工作模式，直接路由(DR)
lb_algo rr
lb_kind DR
persistence_timeout 50			#连接保持时间(秒)
protocol TCP					#应用服务采用的是 TCP协议

41行修改，指定第一个Web节点的地址、端口
real_server 192.168.16.22 80 {
weight 1						#节点的权重

43行删除，添加以下健康检查方式
	    TCP_CHECK {
		    connect_port 80			#添加检查的目标端口
		    connect_timeout 3		#添加连接超时(秒)
		    nb_get_retry 3			#添加重试次数
		    delay_before_retry 3	#添加重试间隔
	}
}

real_server 192.168.16.24 80 {		#添加第二个 Web节点的地址、端口
    weight 1
    TCP_CHECK {
		connect_port 80
		connect_timeout 3
		nb_get_retry 3
		delay_before_retry 3
	}
}
}

删除后面多余的配置
systemctl start keepalived    #启动服务
ip addr show dev ens33				#查看虚拟网卡vip

scp keepalived. conf 192.168.16.18: `pwd`

3.1.2 启动 ipvsadm 服务

------------192.168.16.16-----------
ipvsadm-save > /etc/sysconfig/ipvsadm  #保存负载分配策略
systemctl start ipvsadm  #开启服务，开启前需保存
ipvsadm -C  #清空分配策略
ipvsadm -A -t 192.168.16.16:80 -s rr       #这里指定的虚拟IP为ens33网卡ip，重启keepliaved后会自动绑定虚拟网卡
ipvsadm -a -t 192.168.16.16:80 -r 192.168.16.22:80 -g
ipvsadm -a -t 192.168.16.16:80 -r 192.168.16.24:80 -g
ipvsadm   #启用策略

ipvsadm -ln #如没有VIP 的分发策略，则重启 keepalived 服务，systemctl restart keepalived

------------192.168.16.18-----------
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadm

ipvsadm -ln

3.1.3 调整 proc 响应参数，关闭 Linux 内核的重定向参数响应

vim /etc/sysctl.conf   #修改linux内核配置

#关闭重定向功能
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

sysctl -p   #加载/etc/sysctl.conf配置参数

3.2 部署 NFS 共享服务器

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

yum -y install nfs-utils rpcbind

systemctl start rpcbind.service
systemctl start nfs.service

systemctl enable nfs.service
systemctl enable rpcbind.service

mkdir /opt/kgc
mkdir /opt/roro

chmod 777 /opt/kgc 
chmod 777 /opt/roro

vim /etc/exports
/opt/lic 192.168.16.0/24(rw,sync)
/opt/kiki 192.168.16.0/24(rw,sync)

exportfs -rv

3.3 配置节点服务器（两台相同）

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

yum -y install httpd
systemctl start httpd

vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.16.100
NETMASK=255.255.255.255

service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0
route add -host 192.168.16.100 dev lo:0

vim /etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p

Web-Server1（192.168.16.22）

showmount -e 192.168.16.22
mount.nfs 192.168.16.22:/opt/kgc /var/www/html
echo 'this is kgc web!' > /var/www/html/index.html

Web-Server2（192.168.16.24）

mount.nfs 192.168.16.24:/opt/roro /var/www/html
echo 'this is roro web!' > /var/www/html/index.html

3.5 客户机访问

访问192.168.16.100，隔一段时间进行刷新，轮询显示

将主调度服务器keepalived服务关闭，再次验证，仍然可以访问到页面

systemctl stop keepalived

总结

Keepalived通过什么判断哪台主机为主服务器,通过什么方式配置浮动IP？
答案:
Keepalived首先做初始化先检查state状态，master为主服务器，backup为备服务器。
然后再对比所有服务器的priority，谁的优先级高谁是最终的主服务器。
优先级高的服务器会通过ip命令为自己的电脑配置一个提前定义好的浮动IP地址。

keepalived的抢占与非抢占模式：
抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP
非抢占式俩节点state必须为bakcup，且必须配置nopreempt。
注意：这样配置后，我们要注意启动服务的顺序，优先启动的获取master权限，与优先级没有关系了。