负载均衡LVS NAT，LVS DR, keepalived+lvs

最新推荐文章于 2021-02-22 08:51:00 发布

李向东

最新推荐文章于 2021-02-22 08:51:00 发布

阅读量437

点赞数

本文链接：https://blog.csdn.net/wash168/article/details/78633177

版权

18.6-18.12 LVS NAT， LVS DR

常用的负载均衡软件有lvs，nginx，haproxy，keepalived。

lvs是中国人章文嵩博士发明的。他工作在四层，所以工作非常稳定。但是提供的服务比较单一，不能进行个性化的定制。
nginx除了可以用做http server之外也可以用做负载均衡，其工作在七层，可以提供多样化的服务。例如根据url进行指定的转发。
keepalived实际是用lvs进行负载均衡。
haproxy可以认为即工作在四层，也可以工作在七层。

工作原理

lvs服务器作为整个集群的唯一入口，single entry point。lvs服务器称为调度器，director，他把请求转发给真实服务器处理，real server。

lvs的工作模式

lvs的工作模式有nat，ip tunnel，dr.

lvs: linux virtual server
nat: network address translation
dr: direct routing

nat的优点是可以节省公网的ip，但是因为进出的数据都通过lvs服务器处理，当访问量变大后lvs节点将成为系统的瓶颈，所以这种方式只适合10台以内的服务器集群。调度器有公网ip和局域网ip，rs只有局域网ip。客户访问的是调度器的公网ip。

ip tunnel则是把进入的数据包重新更改目标ip后封装，rs处理之后直接返回给用户，不需要经过调度器。所以可以支持更大的集群。

dr把进入的数据帧修改目标mac地址然后转发给rs，并没有修改目标ip。所以和ip tunnel一样高效，也可以支持更大的集群。这里需要用vip工作，用户访问的是vip。

调度算法

调度算法总共有8种，但是常用的有4种：
- 轮询round robin，rr。
- 加权轮询weighted round robin，wrr。例如把性能更好的服务器设为更高的权重，让他处理更高的访问量。
- 最小连接 least connection，ls。把数据转发到当前连接数最少的rs上。
- 加权最小连接weighted least connection，wlc。把数据转发到加权后当前连接数最少的rs上。

nat模式

准备三台主机：

分发器，也叫调度器（简写为dir）
内网：27.128，外网：133.147（vmware仅主机模式）
rs1
内网：27.129，设置网关为27.128
rs2
内网：27.130，设置网关为27.128

三台机器上都执行执行
systemctl stop firewalld; systemc disable firewalld
systemctl start iptables-services; iptables -F; service iptables save

 在dir上安装ipvsadm
 yum install -y ipvsdam
 在dir上编写脚本，vim /usr/local/sbin/lvs_nat.sh//内容如下
#! /bin/bash
# director 服务器上开启路由转发功能
echo 1 > /proc/sys/net/ipv4/ip_forward
# 关闭icmp的重定向
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
# 注意区分网卡名字，两个网卡分别为ens33和ens37
echo 0 > /proc/sys/net/ipv4/conf/ens33/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/ens37/send_redirects
# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.27.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/usr/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.133.147:80 -s rr
$IPVSADM -a -t 192.168.133.147:80 -r 192.168.27.129:80 -m -w 1
$IPVSADM -a -t 192.168.133.147:80 -r 192.168.27.130:80 -m -w 1


两台rs上都安装nginx

[root@cent01 ~]# curl 192.168.27.129  //连接两台主机ip返回的结果
rs 02
[root@cent01 ~]# curl 192.168.27.130
rs 03



[root@centos11 ~]# curl 192.168.133.147  //连接vip每次显示的主机不同，说明rr成功实现
rs 03
[root@centos11 ~]# curl 192.168.133.147
rs 02
[root@centos11 ~]# curl 192.168.133.147
rs 03
[root@centos11 ~]# curl 192.168.133.147
rs 02

lvs dr

准备三台机器：
dir:192.168.27.128
rs1:192.168.27.129
rs2:192.168.27.130
vip: 192.168.27.200

三台主机的网关都设置为路由器网关。

dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh 
//内容如下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.27.200
rs1=192.168.27.129
rs2=192.168.27.130
#注意这里的网卡名字
ifdown ens33  //重启网卡
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up  //：2是绑定一块新虚拟网卡
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s rr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1



两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh
//内容如下
#/bin/bash
vip=192.168.27.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up  //:0也是绑定新虚拟网卡
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

分别在dir上和两个rs上执行这些脚本

//测试
[root@centos62 ~]# curl 192.168.27.200
rs 02
[root@centos62 ~]# curl 192.168.27.200
rs 01
[root@centos62 ~]# curl 192.168.27.200
rs 02
[root@centos62 ~]# curl 192.168.27.200
rs 01
[root@centos62 ~]# curl 192.168.27.200
rs 02
[root@centos62 ~]# curl 192.168.27.200
rs 01

以上结果说明配置成功。

keepalived+lvs

如果单纯只用lvs做负载均衡，那么如果rs里有一台机器宕机后，用户的请求依然被转发给宕机的rs，这不是我们想要的结果。

//例如当rs3宕机后，用户的请求就变成了无响应。
[root@centos62 ~]# curl 192.168.27.200
rs 03
[root@centos62 ~]# curl 192.168.27.200
rs 02
[root@centos62 ~]# curl 192.168.27.200
^[[A
^[[A

^[[Acurl: (7) couldn't connect to host
[root@centos62 ~]# curl 192.168.27.200

rs 02
[root@centos62 ~]# curl 192.168.27.200
rs 02

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，本次实验可以只安装一台keepalived功能

keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
三台机器分别为：
dir（安装keepalived）192.168.27.128
rs1 192.168.27.129
rs2 192.168.27.130
vip 192.168.27.200

vim /etc/keepalived/keepalived.conf //更改为如下内容

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33，你的网卡和阿铭的可能不一样，这里需要你改一下
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass aminglinux
    }
    virtual_ipaddress {
        192.168.27.200
    }
}
virtual_server 192.168.27.200 80 {  //写vip
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo rr
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP
    real_server 192.168.27.129 80 {
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.27.130 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}


 执行ipvsadm -C  把之前的ipvsadm规则清空掉
 systemctl restart network 可以把之前的vip清空掉
 两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本

systemctl start keepalived
[root@cent01 ~]# ps aux|grep keepa
root       3373  0.0  0.0 120740  1404 ?        Ss   14:46   0:00 /usr/sbin/keepalived -D
root       3374  0.0  0.1 122936  3136 ?        S    14:46   0:00 /usr/sbin/keepalived -D
root       3375  0.1  0.0 127244  2756 ?        S    14:46   0:00 /usr/sbin/keepalived -D


[root@cent01 ~]# ipvsadm -ln   //转发正常
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.27.200:80 rr
  -> 192.168.27.129:80            Route   1      0          0         
  -> 192.168.27.130:80            Route   1      0          0       


service nginx stop  //关闭其中一台rs

[root@cent01 ~]# ipvsadm -ln   //规则已经关闭
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.27.200:80 rr
  -> 192.168.27.129:80            Route   1      0          25        

service nginx start//打开关闭的rs

[root@cent01 ~]# ipvsadm -ln  //规则检测到了刚打卡的主机
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.27.200:80 rr
  -> 192.168.27.129:80            Route   1      0          0         
  -> 192.168.27.130:80            Route   100    0          0

李向东

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
负载均衡LVS NAT，LVS DR, keepalived+lvs

18.6-18.12 LVS NAT， LVS DR常用的负载均衡软件有lvs，nginx，haproxy，keepalived。lvs是中国人章文嵩博士发明的。他工作在四层，所以工作非常稳定。但是提供的服务比较单一，不能进行个性化的定制。nginx除了可以用做http server之外也可以用做负载均衡，其工作在七层，可以提供多样化的服务。例如根据url进行指定的转发。keepalived
复制链接

扫一扫