lvs+keepalived实现web集群高可用性

最新推荐文章于 2024-06-12 20:12:58 发布

weixin_34187862

最新推荐文章于 2024-06-12 20:12:58 发布

阅读量89

点赞数

原文链接：http://blog.51cto.com/lidaxia/1916513

版权

lvs+keepalived实现web集群高可用性

负载均衡集群的概念

负载均衡是设计分布式系统架构必须要考虑的因素之一，它指的是通过调度分发的方式尽可能将“请求”、“访问”的压力负载平均分摊到集群中的各个节点，避免有些节点负载太高导致访问延迟，而有些节点负载很小导致资源浪费。这样，每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间的动态分配，以实现负载均衡，从而为企业提供更高性能，更加稳定的系统架构解决方案。

高可用集群的概念

高可用是指以减少服务中断时间或者避免服务中断为目标的技术，它也是分布式系统架构中必须要考虑的因素之一。集群中节点之间进行心跳检查，可以实现对整个集群中的节点健康状态的检测，如果某个节点失效，它的备节点将在几秒钟的时间内接管它的工作。因此对于用户而言，服务总是可以访问的。

一点点概念

1，directory server 负载均衡器（DR）

2，real server 提供服务的真实服务器

3，VIP 虚拟IP

4，CIP 客户端的IP

5，DIP directory server的IP

6，RIP real server的IP

什么是lvs？

lvs全称是linux virtual server，基于IP负载均衡技术和基于内容请求分发技术。它通过一个资源调度器将请求均衡地分发到不同的服务器上，从而将一组服务器构成一个高性能的、高可用的虚拟服务器。

lvs有三种类型：

①lvs-nat模型：请求报文到达调度器（DR）的时候，DR将目的IP（VIP）转换成真正的服务器地址再根据调度算法，将请求转发给后端真实的服务器；真实服务器的响应报文通过调度器时，报文的源地址被转换成（RIP），再返回给客户端，完成整个负载调度过程。由于请求报文和回应报文都必须经过DR，所以DR会成为性能的瓶颈。这种模型的VIP和RIP可以在不同的网段，值得注意的是：真实服务器的网关必须指向DR。

②lvs-dr模型：DR模型是通过把请求报文的MAC地址改写成真实服务器的MAC地址直接把请求发送给真实服务器，而真实服务器将响应直接返回给客户端。对于DR模型，由于请求报文是通过广播的方式在LAN传输，所以VIP和RIP必须在同一个网段，否则广播后所有的请求报文都会丢失。

③lvs-tun模型：调度器会把请求报文通过IP隧道转发到真实服务器，而真实服务器将响应直接返回给客户端，所以调度器只处理请求报文，不处理响应报文。这种模型的lvs需要在所有的真实服务器上绑定VIP，VIP和RIP可以不在同一个网段。

keepalived又是什么？

keepalived是一款轻量级的高可用软件，它只能实现对IP资源的高可用。主要通过虚拟路由冗余协议（VRRP）实现高可用的功能。在非双主keepalived集群中，会依靠优先级选举出一个主节点，IP资源会优先绑定到主节点，其他节点成为备节点，主节点与备节点之间会通过检查心跳线来检测对方的存活，一旦主节点宕机，备用节点就抢占IP资源，当主节点恢复正常，备节点又会释放IP资源给主节点。

实验：lvs+keepalived

主机名	角色	IP
lvs-master	主调度器	172.16.1.136/24
lvs-backup	备调度器	172.16.1.133/24
web1	真实服务器	172.16.1.140/24
web2	真实服务器	172.16.1.137/24
client	客户端

vip	172.16.1.111/24

//所有的服务器都要同步时间

ntpdate time.nist.gov

crontab -l

*/10 * * * * ntpdate time.nist.gov

real server的配置

关闭防火墙和selinux

[root@web1 ~]#systemctl stop firewalld

[root@web1 ~]#systemctl disable firewalld

[root@web1 ~]#vim /etc/selinux/config

SELINUX=disabled

配置web服务

[root@web1 ~]#yum -y install httpd

[root@web1 ~]#echo web1 > /var/www/html/index.html

[root@web1 ~]#systemctl start httpd

----------------------web2同web1，略

lvs-master的配置

关闭防火墙还有selinux

[root@lvs-master~]# systemctl stop firewalld

[root@lvs-master~]# systemctl disable firewalld

[root@lvs-master~]# vim /etc/selinux/config

SELINUX=disabled

配置lvs

[root@lvs-master~]# yum -y install ipvsadm #下载工具

[root@lvs-master~]# vim lvs.sh #通过脚本配置lvs

#!/bin/bash

VIP=172.16.1.111

RIP1=172.16.1.140

RIP2=172.16.1.137

PORT=80

start() {

echo 1 > /proc/sys/net/ipv4/ip_forward

ipvsadm -A -t $VIP:$PORT -s rr

ipvsadm -a -t $VIP:$PORT -r $RIP1:$PORT -g

ipvsadm -a -t $VIP:$PORT -r $RIP2:$PORT -g

}

stop() {

ipvsadm -D -t $VIP:$PORT

echo 0 > /proc/sys/net/ipv4/ip_forward

}

case $1 in

start)

start;;

stop)

stop;;

echo "/root/lvs.sh start|stop";;

esac

由于lvs不能对后端服务器进行健康检测，所以需要写一个检查后端服务健康状态的脚本

[root@lvs-master~]# vim lvs_healcheck.sh

#!/bin/bash

VIP=172.16.1.111

RIP1=172.16.1.140

RIP2=172.16.1.137

PORT=80

for i in $RIP1$RIP2

/usr/sbin/ipvsadm -a -t $VIP:$PORT -r $i:$PORT -g &> /dev/null

if ["$?" -ne "0" ];then

curl http://$i &> /dev/null

if [ "$?" == "0" ];then

echo "real server in `date +%F-%T`is ok" >> /tmp/healcheresult

else

/usr/sbin/ipvsadm -d -t $VIP:$PORT -r $i:$PORT

else

curl http://$i &> /dev/null

if [ "$?" == "0" ];then

echo "real server in `date +%F-%T` comme on" >> /tmp/nok

else

/usr/sbin/ipvsadm -d -t $VIP:$PORT -r $i:$PORT

done

编写计划任务，每时每刻执行健康检查脚本

[root@lvs-master~]# crontab -l

* * * * */usr/bin/sh /root/lvs_healcheck.sh

配置keepalived

[root@lvs-master~]# yum -y install keepalived

[root@lvs-master~]# vim /etc/keepalived/keepalived.conf

! ConfigurationFile for keepalived

//全局配置

global_defs {

notification_email {

root@localhost #报警邮件的地址

}

notification_email_from keepalived@localhost #邮件的发送地址

smtp_server 127.0.0.1 #smtp服务器的地址

smtp_connect_timeout 30 #连接smtp服务器的超时时间

router_id LVS_M #keepalived服务器的一个标识

}

//实例配置

vrrp_instanceVI_1 {

state MASTER #指定keepalived的角色，MASTER|BACKUP

interface eno16777736 #实例绑定的网卡，配置VIP必须在已有的网卡添加

virtual_router_id 51 #相同的VRID为一组，决定多播的MAC地址

priority 100 #优先级

advert_int 3 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒

authentication {

auth_type PASS #认证类型 PASS|AH

auth_pass redhat #验证密码，在同一个实例，MASTER与BACKUP的密码必须保持一致才可以正常通信

}

virtual_ipaddress {

172.16.1.111 #VIP

}

virtual_server 172.16.1.111 80 {

delay_loop 6 #运行情况检查时间，单位是秒

lb_algo rr #负载均衡算法，wlc为最小加权算法，rr为轮询

lb_kind DR #使用DR模式

net_mask 255.255.255.0

persistence_timeout 50

protocol TCP #使用TCP协议检查realserver状态，指定转发协议类型，有TCP和UDP两种

real_server172.16.1.140 80

{

weight 1 #节点权重值

TCP_CHECK #健康检查方式

{

connect_port 80 #连接端口

connect_timeout 5 #连接超时

nb_get_retry 3 #重试次数

delay_before_retry 3 #重试间隔

}

real_server172.16.1.137 80

{

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 5

nb_get_retry 3

delay_before_retry 3

}

重启服务，设置服务开机自动启动

[root@lvs-master~]# touch /etc/sysconfig/ipvsadm

[root@lvs-master~]# systemctl restart ipvsadm

[root@lvs-master~]# systemctl restart keepalived.service

[root@lvs-master~]# systemctl enable ipvsadm

[root@lvs-master~]# systemctl enable keepalived.service

验证是否有vip

[root@lvs-master~]# ip add show|grep 172.16.1.111

inet172.16.1.111/32 scope global eno16777736

lvs-backup的配置

关闭防火墙和selinux

[root@lvs-backup~]# systemctl stop firewalld

[root@lvs-backup~]# systemctl disable firewalld

[root@lvs-backup~]# vim /etc/selinux/config

SELINUX=disabled

配置lvs

[root@lvs-backup~]# yum -y install ipvsadm

[root@lvs-master~]# scp lvs.sh root@172.16.1.133:/root/

[root@lvs-master~]# scp lvs_healcheck.sh root@172.16.1.133:/root/

[root@lvs-backup~]# chmod +x lvs.sh

[root@lvs-backup~]# chmod +x lvs_healcheck.sh

[root@lvs-backup~]# crontab -l

* * * * */usr/bin/sh /root/lvs_healcheck.sh

配置keepalived

[root@lvs-backup~]# yum -y install keepalived

[root@lvs-master ~]# scp /etc/keepalived/keepalived.confroot@172.16.1.133:/etc/keepalived/

[root@lvs-backup~]# vim /etc/keepalived/keepalived.conf

! ConfigurationFile for keepalived

global_defs {

notification_email {

root@localhost

}

notification_email_from keepalived@localhost

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_S #修改router_id

}

vrrp_instanceVI_1 {

state BACKUP #修改keepalived角色

interface eno16777736

virtual_router_id 51

priority 99 #修改优先级

advert_int 3

authentication {

auth_type PASS

auth_pass redhat

}

virtual_ipaddress {

172.16.1.111

}

virtual_server172.16.1.111 80 {

delay_loop 6

lb_algo rr

lb_kind DR

nat_mask 255.255.255.0

persistence_timeout 50

protocol TCP

real_server 172.16.1.140 80

{

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 5

nb_get_retry 3

delay_before_retry 3

}

real_server 172.16.1.137 80

{

weight 1

TCP_CHECK {

connect_port 80

connect_timeout 5

nb_get_retry 3

delay_before_retry 3

}

重启服务，设置服务开机自动启动

[root@lvs-backup~]# touch /etc/sysconfig/ipvsadm

[root@lvs-backup~]# systemctl restart ipvsadm

[root@lvs-backup~]# systemctl restart keepalived.service

[root@lvs-backup~]# systemctl enable ipvsadm

[root@lvs-backup~]# systemctl enable keepalived.service

在lvs-master和lvs-backup上创建集群服务

[root@lvs-master~]# ./lvs.sh start

[root@lvs-master~]# ipvsadm -L -n

IP VirtualServer version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.16.1.111:80 rr

-> 172.16.1.137:80 Route 1 0 0

-> 172.16.1.140:80 Route 1 0 0

[root@lvs-backup~]# ./lvs.sh start

[root@lvs-backup~]# ipvsadm -L -n

IP VirtualServer version 1.2.1 (size=4096)

Prot LocalAddress:PortScheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.16.1.111:80 rr

-> 172.16.1.137:80 Route 1 0 0

-> 172.16.1.140:80 Route 1 0 0

验证

[root@client~]#curl http://172.16.1.111

web1

[root@client~]#curl http://172.16.1.111

web2

[root@lvs-master~]# ipvsadm -L -n

IP VirtualServer version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.16.1.111:80 rr

-> 172.16.1.137:80 Route 1 1 0

-> 172.16.1.140:80 Route 1 1 0

#lvs-master上ActiveConn会一直增加，因为所有访问vip的连接都会经过lvs-master进行调度，转发到后端real server

[root@lvs-backup~]# ipvsadm -L -n

IP VirtualServer version 1.2.1 (size=4096)

ProtLocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.16.1.111:80 rr

-> 172.16.1.137:80 Route 1 0 0

-> 172.16.1.140:80 Route 1 0 0

#除非lvs-master宕机，lvs-backup上ActiveConn会一直为0，因为没有请求转发到lvs-backup进行调度

关闭lvs-master模仿宕机

[root@lvs-backup~]# ip add show | grep 172.16.1.111

inet 172.16.1.111/32 scope globaleno16777736

[root@client~]#curl http://172.16.1.111

web1

[root@client~]#curl http://172.16.1.111

web2

#由于此时lvs-backup仍然正常工作，所有访问vip的连接经过lvs-backup进行调度，转发到后端real server，所有还可以访问到后端的real server

再关闭lvs-backup模仿宕机

[root@client~]# curl http://172.16.1.111

curl: (7)Failed connect to 172.16.1.111:80; Connection timed out

#网络中没有可用的lvs负载均衡器，所有访问vip的连接无法被调度转发到real server

开启lvs-master模仿故障恢复

[root@client~]# curl http://172.16.1.111

web1

[root@client~]# curl http://172.16.1.111

web2

#lvs-master正常工作所有访问vip的连接都会经过lvs-master进行调度，转发到后端real server

如有纰漏，欢迎指正。

转载于:https://blog.51cto.com/lidaxia/1916513

weixin_34187862

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
lvs+keepalived实现web集群高可用性

lvs+keepalived实现web集群高可用性负载均衡集群的概念负载均衡是设计分布式系统架构必须要考虑的因素之一，它指的是通过调度分发的方式尽可能将“请求”、“访问”的压力负载平均分摊到集群中的各个节点，避免有些节点负载太高导致访问延迟，而有些节点负载很小导致资源浪费。这样，每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间的动态分配，以实现负载均...
复制链接

扫一扫