LVS DR模式搭建、Keepalived+LVS 及扩展

最新推荐文章于 2024-09-06 16:58:44 发布

weixin_34419321

最新推荐文章于 2024-09-06 16:58:44 发布

阅读量162

点赞数

文章标签：运维开发工具网络

原文链接：https://my.oschina.net/u/4093217/blog/3058617

版权

2019独角兽企业重金招聘Python工程师标准>>>

18.11 LVS DR模式搭建
18.12 Keepalived+LVS

扩展
heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433
DRBD工作原理和配置   http://502245466.blog.51cto.com/7559397/1298945
mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313
lvs 三种模式详解  http://www.it165.net/admin/html/201401/2248.html
lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html
关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
LVS DR模型中的arp_ignore https://www.imooc.com/article/79661
lvs原理相关的   http://blog.csdn.net/pi9nc/article/details/23380589
haproxy+keepalived  http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、haproxy比较  http://www.csdn.net/article/2014-07-24/2820837
keepalived中自定义脚本 vrrp_script   http://my.oschina.net/hncscwc/blog/158746
lvs dr模式只使用一个公网ip的实现方法   http://storysky.blog.51cto.com/628458/338726

Step By Step 搭建 MySql MHA 集群：http://blog.51cto.com/xiaoshuaigege/2060768

一、 LVS DR模式搭建

准备工作

试验需要三台机器:

分发器，也叫调度器（简写为dir) ： 192.168.116.3 机器名称： 001
rs1 ：192.168.116.33 机器名称：002
rs2 ：192.168.116.133 机器名称： 003
vip ：192.168.116.200

上一节中设置的公网ip：192.168.253.128暂时用不到，并把002和003的网关改回原来的116.2

在001机器（dir）上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward          #实现路由转发
ipv=/usr/sbin/ipvsadm
vip=192.168.116.200
rs1=192.168.116.33
rs2=192.168.116.133
#注意这里的网卡名字
ifdown ens33
ifup ens33                              #ifdown、ifup防止下面的命令重复设置ip
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2  # 添加网关
$ipv -C  #清空规则
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

sh /usr/local/sbin/lvs_dr.sh 执行脚本

ip add 查看 ens33网卡绑定了vip：192.168.116.200

另外两台rs（002、003）上也编写脚本 vim /usr/local/sbin/lvs_rs.sh //内容如下

并执行脚本 sh /usr/local/sbin/lvs_rs.sh

#/bin/bash
vip=192.168.116.200
#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo                              #ifdown、ifup防止下面的命令重复设置ip
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

ip add查看，此时网卡lo上已经绑定了vip： 192.168.116.200

测试：
在浏览器测试，输入VIP：192.168.116.200；不断刷新浏览器；会出现002或者003页面

此时在dir上使用curl访问vip是不起作用的，因为vip在rs上绑定了lo，可以在用另一台同网段，没有绑定vip的机器访问测试

二、Keepalived+LVS DR

试验前先把003机器的nginx服务关闭，到浏览器访问vip：192.168.116.200，此时无法访问到003了

到001查看ipvsadm -ln，此时192.168.116.33的InActConn会随着访问次数增加，而192.168.116.133没有变化

试验完把003的nginx启动

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能，所以本次实验可以只安装一台keepalived
keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本

试验也是需要三台机器:

分发器，也叫调度器（简写为dir，dir（需要安装keepalived）) ： 192.168.116.3 机器名称： 001
rs1 ：192.168.116.33 机器名称：002
rs2 ：192.168.116.133 机器名称： 003
vip ：192.168.116.200

把之前做高可用时的配置文件做个备份，在重新编辑一个keepalived配置文件

vim /etc/keepalived/keepalived.conf 内容请到https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/lvs_keepalived.conf 获取

vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
    state MASTER
    #绑定vip的网卡为ens33
    interface ens33
    virtual_router_id 51
    #备用服务器上为90
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 123456
    }
    virtual_ipaddress {
        192.168.116.200     #vip地址
    }
}
virtual_server 192.168.116.200 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 0  #此处为了试验改为了0
    #(用TCP协议检查realserver状态)
    protocol TCP

    real_server 192.168.116.33 80 {   #这个是rs1
        #(权重)
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
    real_server 192.168.116.133 80 {        #这个是rs2
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}

systemctl stop keepalived 停掉keepalived 服务

ip add 查看网卡IP，此时vip没有绑定到end33上

ipvsadm -ln ：查看其规则，开启与未开启keepalived服务对比，keepalived会自动把宕机的机器剔除

未开启：

开启：

systemctl start keepalived
ipvsadm -ln

两台rs上，依然要执行/usr/local/sbin/lvs_rs.sh脚本
keepalived有一个比较好的功能，可以在一台rs宕机时，不再把请求转发过去
比如上面关闭nginx时，使003不能正常运行，不再把请求转发过去，keepalived会自动把宕机的机器剔除，下图就是在003宕机时，把003剔除的图片，003的ip为192.168.116.133