LVS安装配置和实现负载均衡

最新推荐文章于 2024-08-11 00:11:49 发布

shaopeng1942

最新推荐文章于 2024-08-11 00:11:49 发布

阅读量388

点赞数

分类专栏： linux

本文链接：https://blog.csdn.net/shaopeng1942/article/details/101704250

版权

linux 专栏收录该内容

12 篇文章 1 订阅

订阅专栏

LVS是 Linux Virtual Server 的简称，也就是Linux虚拟服务器。

官网：http://www.linuxvirtualserver.org

LVS已经是Linux内核标准的一部分，通过LVS 达到的负载均衡技术和 Linux 操作系统实现一个高性能高可用的 Linux 服务器集群，它具有良好的可靠性、可扩展性和可操作性

LVS是一个实现负载均衡集群的开源软件项目，LVS架构从逻辑上可分为调度层、Server集群层和共享存储

LVS的基本工作原理：

LVS由2部分软件组成： ipvs和ipvsadm

ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs，是真正生效实现调度的代码

ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)

LVS相关术语（名词）及解释：

  DS：Director Server。指的是前端负载均衡器节点
  RS：Real Server。后端真实的工作服务器
  VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址
  DIP：Director Server IP，主要用于和内部主机通讯的IP地址
  RIP：Real Server IP，后端服务器的IP地址
  CIP：Client IP，访问客户端的IP地址

LVS/NAT原理和特点：

理解NAT方式的实现原理和数据包的改变：

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP
(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c). IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。此时报文的源IP为CIP，目标IP为RIP
(d). POSTROUTING链通过选路，将数据包发送给Real Server
(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。此时报文的源IP为RIP，目标IP为CIP
(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。此时报文的源IP为VIP，目标IP为CIP

LVS-NAT模型的特性：

RS应该使用私有地址，RS的网关必须指向DIP

DIP和RIP必须在同一个网段内

请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈

支持端口映射

RS可以使用任意操作系统

缺陷：对Director Server压力会比较大，请求和响应都需经过director server

LVS/DR的原理和特点：

重将请求报文的目标MAC地址设定为挑选出的RS的MAC地址

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址
(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP
(f) 响应报文最终送达至客户端

LVS-DR模型的特性（企业目前最常用的）：

特点1：保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

RS跟Director Server必须在同一个物理网络中

所有的请求报文经由Director Server，但响应报文必须不能经过Director Server

不支持地址转换，也不支持端口映射

RS可以是大多数常见的操作系统

RS的网关绝不允许指向DIP(因为我们不允许他经过director)

RS上的lo接口配置VIP的IP地址

缺陷：RS和DS必须在同一机房中

特点1的解决方案：

在前端路由器做静态地址路由绑定，将对于VIP的地址仅路由到Director Server

存在问题：用户未必有路由操作权限，因为有可能是运营商提供的，所以此方法未必实用

arptables：在arp的层次上实现在ARP解析时做防火墙规则，过滤RS响应ARP请求。这是由iptables提供的

修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制其不能响应对VIP地址解析请求。

LVS/Tun原理和特点：

在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。此时

报文的源IP为CIP，目标IP为VIP 。

(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链
(c) IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封

装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。此时源IP为DIP，目标IP为RIP
(d) POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所

以可以理解为此时通过隧道传输）。此时源IP为DIP，目标IP为RIP
(e) RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面

还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。此时的源IP地址为VIP，目标IP为CIP

(f) 响应报文最终送达至客户端

LVS/Tun模型特点：

RIP、VIP、DIP全是公网地址

RS的网关不会也不可能指向DIP

所有的请求报文经由Director Server，但响应报文必须不能经过Director Server

不支持端口映射

RS的系统必须支持隧道

其实企业中最常用的是 DR 实现方式，而 NAT 配置上比较简单和方便，后边实践中会总结 DR 和 NAT 具体使用配置过程。

LVS的八种调度算法：

1、轮叫调度rr :

这种算法是最简单的，就是按依次循环的方式将请求调度到不同的服务器上，该算法最大的特点就是简单。轮询算法假设所有的服务器处理请求的能力都是一样的，调度器会将所有的请求平均分配给每个真实服务器，不管后端 RS 配置和处理能力，非常均衡地分发下去

2、加权轮叫wrr :

这种算法比 rr 的算法多了一个权重的概念，可以给 RS 设置权重，权重越高，那么分发的请求数越多，权重的取值范围 0 – 100。主要是对rr算法的一种优化和补充， LVS 会考虑每台服务器的性能，并给每台服务器添加要给权值，如果服务器A的权值为1，服务器B的权值为2，则调度到服务器B的请求会是服务器A的2倍。权值越高的服务器，处理的请求越多

3、最少链接lc :

这个算法会根据后端 RS 的连接数来决定把请求分发给谁，比如 RS1 连接数比 RS2 连接数少，那么请求就优先发给 RS1

4、加权最少链接wlc :

这个算法比lc多了一个权重的概念

5、基于局部性的最少连接调度算法lblc :

这个算法是请求数据包的目标 IP 地址的一种调度算法，该算法先根据请求的目标 IP 地址寻找最近的该目标 IP 地址所有使用的服务器，如果这台服务器依然可用，并且有能力处理该请求，调度器会尽量选择相同的服务器，否则会继续选择其它可行的服务器

6、复杂的基于局部性最少的连接算法lblrc :

记录的不是要给目标IP与一台服务器之间的连接记录，它会维护一个目标IP与一组服务器之间的映射关系，防止单点服务器负载过高

7、目标地址散列调度算法dh :

该算法是根据目标 IP 地址通过散列函数将目标 IP 与服务器建立映射关系，出现服务器不可用或负载过高的情况下，发往该目标 IP 的请求会固定发给该服务器

8、源地址散列调度算法sh :

与目标地址散列调度算法类似，但它是根据源地址散列算法进行静态分配固定的服务器资源

LVS无需安装，安装的是管理工具，第一种叫ipvsadm,第二种叫keepalived

LVS/NAT模式实践：地址转换

director 内网192.168.56.101 外网172.16.3.78

real server1 内网192.168.56.102

real server2 内网192.168.56.103

在director上安装ipvsadm：yum install ipvsadm -y

编写vim /usr/local/sbin/lvs_nat.sh 脚本，内容如下：

#!/bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward director服务器开启路由转发功能

echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects 关闭icmp的重定向，下面4行

echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/enp0s3/send_redirects

echo 0 > /proc/sys/net/ipv4/conf/enp0s8/send_redirects

iptables -t nat -F director设置nat防火墙,下面3行

iptables -t nat -X

iptables -t nat -A POSTROUTING -s 192.168.56.0/24 -j MASQUERADE

IPVSADM='/sbin/ipvsadm' director设置ipvsadm，下面3行

$IPVSADM -A -t 192.168.56.101:80 -s wrr 定义一个集群服务

$IPVSADM -a -t 192.168.56.101:80 -r 192.168.56.102:80 -m -w 2 -w后的数字是权重

#添加real server 并指派调度算法为NAT

$IPVSADM -a -t 192.168.56.101:80 -r 192.168.56.103:80 -m -w 1 -w后的数字是权重

#添加real server 并指派调度算法为NAT

也可以不写脚本，一条一条的命令实现！

保存，在Director上执行脚本就可以完成lvs/nat的配置

/bin/bash /usr/local/sbin/lvs_nat.sh

查看ipvsadm设置的规则： ipvsadm -ln

这里real server端以httpd服务来做测试，也可以使用ngixn做测试！

为real server1和real server2分别添加主页/var/www/html/index.html，内容分别为two和three;

到此完成LVS/NAT集群配置！

测试访问http页面：

清空LVS规则： ipvsadm -C

永久保存LVS规则以及删除LVS规则后再恢复的命令：

保存：方法一：service ipvsadm save 针对centos6系列系统

方法二：ipvsadm -S > /etc/sysconfig/ipvsadm.s1 保存LVS规则到此文件中

恢复： ipvsadm -R < /etc/sysconfig/ipvsadm.s1

LVS/NAT模式服务控制部署一键完整脚本（只在Director服务器上执行）：

脚本名：lvs-nat-director.sh

#!/bin/bash

# chkconfig: - 88 12

# description: LVS script for VS/NAT

# . /etc/rc.d/init.d/functions # VIP=192.168.0.200

DIP=172.16.100.1

RIP1=172.16.100.10

RIP2=172.16.100.11#

case "$1" in

start)

# /sbin/ifconfig eth1:0 $VIP netmask 255.255.255.0 up

# Since this is the Director we must be able to forward packets

echo 1 > /proc/sys/net/ipv4/ip_forward

# Clear all iptables rules.

/sbin/iptables -F

# Reset iptables counters.

/sbin/iptables -Z

# Clear all ipvsadm rules/services.

/sbin/ipvsadm -C

# Add an IP virtual service for VIP 192.168.0.219 port 80

# In this recipe, we will use the round-robin scheduling method.

# In production, however, you should use a weighted, dynamic scheduling method.

/sbin/ipvsadm -A -t $VIP:80 -s rr

# Now direct packets for this VIP to

# the real server IP (RIP) inside the cluster

/sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -m

/sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -m

/bin/touch /var/lock/subsys/ipvsadm.lock

;;

stop) # Stop forwarding packets

echo 0 > /proc/sys/net/ipv4/ip_forward

# Reset ipvsadm

/sbin/ipvsadm -C

# Bring down the VIP interface ifconfig eth1:0 down

rm -rf /var/lock/subsys/ipvsadm.lock

;;

status)

[ -e /var/lock/subsys/ipvsadm.lock ] && echo "ipvs is running..." || echo "ipvsadm is stopped..."

;;

echo "Usage: $0 {start|stop}"

;; esac

LVS-NAT一键安装脚本（包括Director服务器端和real server端）：

脚本名 lvs-nat-install

#!/bin/bash

# 一键安装lvs-nat脚本，需要注意的是主机名称和ip的变化稍作修改就可以了

HOSTNAME=`hostname`

Director='LVS'

VIP="192.168.0.200"

RIP1="172.16.100.10"

RIP2="172.16.100.11"

RealServer1="web1"

RealServer2="web2"

Httpd_config="/etc/httpd/conf/httpd.conf"

#Director Server Install configure ipvsadm

if [ "$HOSTNAME" = "$Director" ];then

ipvsadm -C

yum -y remove ipvsadm

yum -y install ipvsadm

/sbin/ipvsadm -A -t $VIP:80 -s rr

/sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -m

/sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -m

echo 1 > /proc/sys/net/ipv4/ip_forward

echo "Install $Director sucess "

#RealServer Install httpd

if [ "$HOSTNAME" = "$RealServer1" ];then #第一台realserver安装httpd服务

yum -y remove httpd

rm -rf /var/www/html/index.html

yum -y install httpd

echo "web1 Allentuns.com" > /var/www/html/index.html

sed -i '/#ServerName www.example.com:80/a\ServerName localhost:80' $Httpd_config

service httpd start #centos7系统使用systemctl启动httpd服务

echo "Install $RealServer1 success "

if [ "$HOSTNAME" = "$RealServer2" ];then #第二台realserver安装httpd服务

yum -y remove httpd

rm -rf /var/www/html/index.html

yum -y install httpd

echo "web2 Allentuns.com" > /var/www/html/index.html

sed -i '/#ServerName www.example.com:80/a\ServerName localhost:80' $Httpd_config

service httpd start #centos7系统使用systemctl启动httpd服务

echo "Install $RealServer2"

echo "Install $RealServer1 success "

总结：NAT模型的缺陷是，进出的每个数据包都要经过Director server,当集群负载均衡过大的时候Director server将会成为整个集群系统的瓶颈

DR模型很好的解决了这个问题：DR模型在只有请求的时候才会经过Director server，回应的数据包由Real server直接响应用户不需要经过Director server，最常用的也就是DR模型

LVS/DR模式实践：直接路由，企业最常用LVS模式

director 内网192.168.56.101 vip 192.168.56.100 配置在enp0s8上

real server 内网192.168.56.102 vip 192.168.56.100 配置lo:0上

real server 内网192.168.56.103 vip 192.168.56.100 配置lo:0上

两台real server上都安装httpd或nginx服务

在Director上安装ipvsadm : yum install ipvsadm -y

在Director上做如下配置：

ifconfig enp0s8:0 192.168.56.100 broadcast 192.168.56.100 netmask 255.255.255.0 up

route add -host 192.168.56.100 dev enp0s8:0 >> /etc/rc.local 加入开机启动

echo " echo "1" > /proc/sys/net/ipv4/ip_forward " >> /etc/rc.local 加入开机启动

iptables -F 清空防火墙规则

iptables -Z

ipvsadm -C 清空ipvsadm规则

ipvsadm -A -t 192.168.56.100:80 -s wlc

ipvsadm -a -t 192.168.56.100:80 -r 192.168.56.102 -g -w 1

ipvsadm -a -t 192.168.56.100:80 -r 192.168.56.103 -g -w 2

touch /var/lock/subsys/ipvsadm &> /dev/null

问题解决：配置ipvsadm 时若出现“Memory allocation problem”提示，则多清除下防火墙iptables -L和多执行sync

在所有real server上做如下配置：限制arp_ignore和arp_announce

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

将上述4条命令，添加到/etc/rc.local文件里使其开机自动生效

ifconfig lo:0 192.168.56.100 broadcast 192.168.56.100 netmask 255.255.255.255 up

echo "route add -host 192.168.56.100 dev lo:0" >> /etc/rc.local

只能在lo接口上做配置，其他的网口都不行

要是网卡配置永久生效，需要写入ifcfg-lo:0文件

具体实现脚本如下：

Director端脚本： Director.sh

#!/bin/bash

# LVS script for VS/DR

# . /etc/rc.d/init.d/functions # VIP=192.168.56.100

RIP1=192.168.56.102

RIP2=192.168.56.103

PORT=80

#case "$1" in

start)

/sbin/ifconfig enp0s8:0 $VIP broadcast $VIP netmask 255.255.255.255 up

/sbin/route add -host $VIP dev enp0s8:0

# Since this is the Director we must be able to forward packets

echo 1 > /proc/sys/net/ipv4/ip_forward

# Clear all iptables rules.

/sbin/iptables -F

# Reset iptables counters.

/sbin/iptables -Z

# Clear all ipvsadm rules/services.

/sbin/ipvsadm -C

# Add an IP virtual service for VIP 192.168.56.100 port 80

# In this recipe, we will use the round-robin scheduling method.

# In production, however, you should use a weighted, dynamic scheduling method.

/sbin/ipvsadm -A -t $VIP:80 -s wlc

# Now direct packets for this VIP to

# the real server IP (RIP) inside the cluster

/sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w 1

/sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w 2

/bin/touch /var/lock/subsys/ipvsadm &> /dev/null

;;

stop) # Stop forwarding packets

echo 0 > /proc/sys/net/ipv4/ip_forward

# Reset ipvsadm

/sbin/ipvsadm -C

# Bring down the VIP interface

/sbin/ifconfig enp0s8:0 down

/sbin/route del $VIP

/bin/rm -f /var/lock/subsys/ipvsadm

echo "ipvs is stopped..."

;;

status)

if [ ! -e /var/lock/subsys/ipvsadm ]; then

echo "ipvsadm is stopped ..."

else

echo "ipvs is running ..."

ipvsadm -L -n

;; *)

echo "Usage: $0 {start|stop|status}"

;; esac

Realr Server端脚本： Realserver.sh

#!/bin/bash

# Script to start LVS DR real server.

# description: LVS DR real server

# . /etc/rc.d/init.d/functions

VIP=192.168.56.100

host=`/bin/hostname`

case "$1" in

start)

# Start LVS-DR real server on this machine.

/sbin/ifconfig lo down

/sbin/ifconfig lo up

echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up

/sbin/route add -host $VIP dev lo:0

;;

stop)

# Stop LVS-DR real server loopback device(s).

/sbin/ifconfig lo:0 down

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce

echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore

echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce

;;

status)

# Status of LVS-DR real server.

islothere=`/sbin/ifconfig lo:0 | grep $VIP`

isrothere=`netstat -rn | grep "lo:0" | grep $VIP`

if [ ! "$islothere" -o ! "isrothere" ];then

# Either the route or the lo:0 device not found.

echo "LVS-DR real server Stopped."

else

echo "LVS-DR real server Running."

;; *)

echo "$0: Usage: $0 {start|status|stop}"

exit 1

;; esac

同样执行测试： curl http://192.168.56.100/index.html

注意：在 DR 模式下，2台 rs 节点的 gateway 不需要设置成 dir 节点的 IP

LVS/TUN模式实践: 隧道

缺点：需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议

LVS的健康状态检查脚本：

在LVS模型中，director不负责检查RS的健康状况，这就使得当有的RS出故障了，director还会将服务请求派发至此服务器，避免这种情况的发生

脚本名：check-lvs-health.sh

#!/bin/bash

# VIP=172.16.100.100

CPORT=80

FAIL_BACK=127.0.0.1

RS=("172.16.100.10" "172.16.100.11")

declare -a RSSTATUS

RW=("2" "1")

RPORT=80

TYPE=g

CHKLOOP=3

LOG=/var/log/ipvsmonitor.log

addrs() {

ipvsadm -a -t $VIP:$CPORT -r $1:$RPORT -$TYPE -w $2

[ $? -eq 0 ] && return 0 || return 1

}

delrs() {

ipvsadm -d -t $VIP:$CPORT -r $1:$RPORT

[ $? -eq 0 ] && return 0 || return 1

}

checkrs() { local I=1 while [ $I -le $CHKLOOP ]; do if curl --connect-timeout 1 http://$1 &> /dev/null; then return 0 fi let I++ done return 1

}

initstatus() { local I local COUNT=0;for I in ${RS[*]}; do if ipvsadm -L -n | grep "$I:$RPORT" && > /dev/null ; then

RSSTATUS[$COUNT]=1else

RSSTATUS[$COUNT]=0

A++

Dir[0]=$A fi let COUNT++

done

}

initstatus while :; do let COUNT=0 for I in ${RS[*]}; do if checkrs $I; then if [ ${RSSTATUS[$COUNT]} -eq 0 ]; then

addrs $I ${RW[$COUNT]}

[ $? -eq 0 ] && RSSTATUS[$COUNT]=1 && echo "`date +'%F %H:%M:%S'`, $I is back." >> $LOG

fi else if [ ${RSSTATUS[$COUNT]} -eq 1 ]; then

delrs $I

[ $? -eq 0 ] && RSSTATUS[$COUNT]=0 && echo "`date +'%F %H:%M:%S'`, $I is gone." >> $LOG

fi fi

let COUNT++ done sleep 5 done

查看ipvsadm相关：支持的负载均衡方式

grep -i "ip_vs" /boot/config-3.10.0-693.el7.x86_64

LVS三种负载均衡方法优缺点比较：

_	VS/NAT	VS/TUN	VS/DR
Server	any	Tunneling	Non-arp device
server network	private	LAN/WAN	LAN
server number	low (10~20)	High (100)	High (100)
server gateway	load balancer	own router	Own router