LVS+Keepalived群集

目录

前言

一、Keepslived概述

1、Keepalived工具介绍

2、Keepalived服务重要功能

3、Keepalived实现原理

4、Keepalived体系模块

5、使用Keepalived实现双机热备

 二、LVS+DR+Keepalived高可用集群构建

1、集群概述

2、架构示意图

三、实例部署

1、配置负载调度器(主:192.168.169.4) 

关闭防火墙 

 下载安装包 

备份配置文件 

编辑配置文件 

重启Keepalived服务并查看虚拟网卡信息 

调整/proc响应参数,关闭内核的重定向参数响应 

 刷新

 清空并配置ipvsadm策略

 2、配置负载调度器(备:192.168.169.5)

关闭防火墙和增强机制

修改备用路由的配置文件

配置/proc参数响应

 清空ipvsadm策略并添加新策略

3、配置Web 服务器1(192.168.169.201)

 关闭防火墙和增强机制

 配置lo:0虚拟网卡

 重启网络后启动lo:0网卡 

 添加路由并查验

  调整ARP内核配置

 向Web服务器的网页中写入内容

4、配置Web 服务器2(192.168.169.202) 

关闭防火墙和增强机制

 配置lo:0虚拟网卡

  启动lo:0网卡

 添加路由并查验 

 调整ARP内核配置并查验

​编辑向Web服务器的网页中写入内容 

 5、网页测试

---

前言

Keepalived在企业应用中,单台服务器承担应用存在单点故障的危险,单点故障一旦发生,企业服务器将会发生终端,造成极大的危害和损失。

一、Keepslived概述

1、Keepalived工具介绍

         keepalived 软件起初是专为 LVS 负载均衡软件设计的，用来管理并监控 LVS 集群中各个服务节点的状态，后来又加入了可以实现高可用的 VRRP 功能。因此，keepalived 除了能够管理 LVS 集群外，还可以为其他服务（例如：Nginx、Haproxy、MySQL等）实现高可用。
  keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol（虚拟路由器冗余协议的缩写，VRRP 出现的目的就是为了解决静态路由单点故障的问题，它能够保证当个别节点宕机时，整个网络可以不间断地运行。
  所以，keepalived 一方面具有配置管理 LVS 的功能，同时还具有对 LVS 下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用。

2、Keepalived服务重要功能

管理LVS负载均衡软件
支持故障自动切换(Failover)
实现LVS集群中节点的健康检查(Health Checking)
实现LVS负载电镀漆\节点服务器的高可用性(HA)
一般般企业集群需要满足三个特点:负载均衡、健康检查和故障切换可以通过LVS+Keepalived完全可以满足需求

对于节点服务器：健康检查如果发现有故障的节点就会将其隔离或者剔除集群，待其回复后再重新加入的集群当中去

负载均衡器：健康检查会定时去检查主机的状态（包括主机和服务的状态），如果出现故障就会自动切换到备主机上待主机恢复，在重新让主承载业务请求。

3、Keepalived实现原理

VRRP虚拟冗余协议

VRRP会把多个路由组成一个虚拟路由组VRID，VRRP会生成一个虚拟路由（包含虚拟IP、虚拟MAC，局域网内，用户不需要关心谁是主路由/谁是备路由，他们只用虚拟路由器的虚拟IP作为他们的网关），实际上虚拟IP就是承载在Master路由上，也就是说实际的数据是通过Master进行转发的，Backup是通过优先级来决定哪一个是Master路由，优先级最大的那台就是Master，Backup只是用来监听Master定时法师发送的VRRP报文，如果超时未收到Master发来的VRRP报文，则Backup就会抢占Master，虚拟IP也会一起漂移到Backup上。

4、Keepalived体系模块

模块	作用
core	为Keepalived的核心,负责主进程的启动\维护及全局配置文件的加载和解析
vrrp	是来实现VRRP协议的
check	负责健康检查,常见的方式又端口及URL检查

5、使用Keepalived实现双机热备

基于VRRP协议的热备方式Keepalived可以用作故障切换,每个热备组可以有多台服务器,当然最常用的还是双机热备
在双机热备方案中,故障切换主要针对虚拟IP地址的漂移来实现,因此可以适用于各种应用服务器(如:Web、FTP、Mail、SSH、DNS...)
其中主、备服务器都需要安装Keepalived

 二、LVS+DR+Keepalived高可用集群构建

1、集群概述

• keepalived 的设计目标是构建高可用的 LVS 负载均衡集群，可以调用 ipvsadm 工具来创建虚拟服务器、管理服务器池，而不仅仅用作双机热备
• 使用 keepalived 构建 LVS 集群更加简便易用，主要优势在于：对 LVS 负载调度器实现热备切换，提高可用性；对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入
• 案列将以 DR 模式的 LVS 集群为基础，增加一台从负载调度器，使用 keepalived 实现主、从调度器的热备，搭建兼有负载均衡、高可用性两种能力的 LVS 集群架构
• 使用 keepalived 构建 LVS 集群时，也需要用到 ipvsadm 管理工具，但大部分工作会由 keepalived 自动完成，不需要手动执行 ipvsadm （除了查看和监控集群以外）

2、架构示意图

三、实例部署

服务器	IP地址
Master DR Server	192.168.169.4
Backup DR Server	192.168.169.5
Web  Server1	192.168.168.201
Web Server2	192.168.169.202
VIP	192.168.169.200

1、配置负载调度器(主:192.168.169.4) 

############################ 配置Keepalived master服务器 #################################
 
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
2. #安装服务
yum -y install ipvsadm keepalived
 
3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
 
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state MASTER
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
    priority 100
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123456
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.169.200
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.169.200 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.169.201 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.169.202 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
##删除后面多余的配置##
 
4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33	
 
5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 
6. #刷新一下
sysctl -p
 
############################# 配置ipvsadm #################################
 
7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. 
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.223.100 80 -s rr
ipvsadm -A -t 192.168.223.100:80 -s rr
ipvsadm -a -t 192.168.223.100:80 -r 192.168.223.13:80 -g
ipvsadm -a -t 192.168.223.100:80 -r 192.168.223.17:80 -g
 
 
9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

关闭防火墙 

 下载安装包 

备份配置文件 

编辑配置文件 

重启Keepalived服务并查看虚拟网卡信息 

调整/proc响应参数,关闭内核的重定向参数响应 

 刷新

 清空并配置ipvsadm策略

 2、配置负载调度器(备:192.168.169.5)

 

############################ 配置Keepalived backup服务器 #################################
 
1. #关闭防火墙
systemctl stop firewalld.service
setenforce 0
 
2. #安装服务
yum -y install ipvsadm keepalived
 
3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
 
......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地
	smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02
	router_id LVS_01
}
 
vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUP
    state BACKUP
--21行--修改，指定承载vip地址的物理接口
    interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	
    virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99
    priority 99
    advert_int 1					#通告间隔秒数(心跳频率)
    authentication {				#定义认证信息,每个热备组保持一致
		auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致
        auth_pass 123456
    }
    virtual_ipaddress {				#指定群集vip地址
        192.168.169.200
    }
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.169.200 80 {
    delay_loop 6					#健康检查的间隔时间(秒)
    lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)
    lb_kind DR
    persistence_timeout 50			#连接保持时间(秒)
    protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口
    real_server 192.168.169.201 80 {
        weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		
        TCP_CHECK {
			connect_port 80			#添加检查的目标端口
			connect_timeout 3		#添加连接超时(秒)
			nb_get_retry 3			#添加重试次数
			delay_before_retry 3	#添加重试间隔
		}
	}
 
	real_server 192.168.169.202 80 {		#添加第二个 Web节点的地址、端口
        weight 1
        TCP_CHECK {
			connect_port 80
			connect_timeout 3
			nb_get_retry 3
			delay_before_retry 3
		}
	}
}
##删除后面多余的配置##
 
4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33	
 
5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
 
6. #刷新一下
sysctl -p
 
############################# 配置ipvsadm #################################
 
7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service
 
8. 
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.223.100:80 -s rr
ipvsadm -a -t 192.168.223.100:80 -r 192.168.223.13:80 -g
ipvsadm -a -t 192.168.223.100:80 -r 192.168.223.17:80 -g
 
9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

关闭防火墙和增强机制

修改备用路由的配置文件

 

配置/proc参数响应

 清空ipvsadm策略并添加新策略

3、配置Web 服务器1(192.168.169.201)

 

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
3. #配置站点文件
vim /var/www/html/index.html
this is yxp web!
 
4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.169.200
NETMASK=255.255.255.255
 
5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0
 
6. #设置路由
route add -host 192.168.169.200 dev lo:0
route -n
 
7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
8. #刷新proc参数
sysctl -p

 关闭防火墙和增强机制

 配置lo:0虚拟网卡

 

 重启网络后启动lo:0网卡 

 添加路由并查验

  调整ARP内核配置

 向Web服务器的网页中写入内容

 

4、配置Web 服务器2(192.168.169.202) 

1. #关闭防火墙
systemctl stop firewalld
setenforce 0
 
2. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd
 
3. #配置站点文件
vim /var/www/html/index.html
this is dhc web!
 
4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.169.200
NETMASK=255.255.255.255
 
5. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:0
 
6. #设置路由
route add -host 192.168.169.200 dev lo:0
route -n
 
7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
 
8. #刷新proc参数
sysctl -p

关闭防火墙和增强机制

 配置lo:0虚拟网卡

  启动lo:0网卡

 添加路由并查验 

 调整ARP内核配置并查验

向Web服务器的网页中写入内容 

 5、网页测试