lvs DR模式搭建和keepalived + LVS模式

一 LVS DR模式搭建

对于小企业比较适合NAT模式,因为比较节省公网IP资源,但是对于DR模式来说,假如有几十台上百台服务器,这样就会很浪费公网IP资源,尤其是现在公网IP资源越来越少,还有一种方式是搭建一个内部lvs,全部都用内网,包括vip,外部只用一个公网IP做一个映射就行了,公网的80端口映射到内网的vip的80端口

1、准备工作

三台机器

  1. 分发器,也叫调度器(简写为dir)
    75.136
  2. rs1
    75.134 网关需要配置为75.2,配置完成需要重启network
  3. rs2
    75.130 网关需要配置为75.2,配置完成需要重启network
  4. vip
    75.200 这个vip需要绑定在所有的机器上:分发器、rs

2、DR模式搭建

  1. dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
#! /bin/bash  
#打开端口转发
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.75.200
rs1=192.168.75.134
rs2=192.168.75.130
#注意这里的网卡名字,虚拟网卡设置为ens33;2,首先可以重启一下ens33这个网卡,后续就可以不用再次执行绑定命令了
ifdown ens33
ifup ens33
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
#添加网关
route add -host $vip dev ens33:2
#清空规则
$ipv -C
$ipv -A -t $vip:80 -s wrr
#这里的-g 表示gateway,指的就是dr模式
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

随后我们来执行一下这个脚本

[root@lijie-01 ~]# sh !$
sh /usr/local/sbin/lvs_dr.sh
成功断开设备 'ens33'。
连接已成功激活(D-Bus 活动路径:/org/freedesktop/NetworkManager/ActiveConnection/10)
[root@lijie-01 ~]# 

我们来看下route上已经有75.200

[root@lijie-01 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:21:5e:c0 brd ff:ff:ff:ff:ff:ff
    inet 192.168.75.136/24 brd 192.168.75.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.75.200/32 brd 192.168.75.200 scope global ens33:2
       valid_lft forever preferred_lft forever
    inet 192.168.75.150/24 brd 192.168.75.255 scope global secondary ens33:0
       valid_lft forever preferred_lft forever
    inet6 fe80::8ace:f0ca:bb6e:d1f0/64 scope link 
       valid_lft forever preferred_lft forever
    inet6 fe80::d652:b567:6190:8f28/64 scope link tentative dadfailed 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:21:5e:ca brd ff:ff:ff:ff:ff:ff
[root@lijie-01 ~]# 
  1. 两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
#/bin/bash
vip=192.168.75.200
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

然后我们来执行这个脚本

[root@lijie-02 ~]# sh !$
sh /usr/local/sbin/lvs_rs.sh
[root@lijie-02 ~]#

我们再来看下route里面已经有了75.200

[root@lijie-03 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.75.2    0.0.0.0         UG    100    0        0 ens33
192.168.75.0    0.0.0.0         255.255.255.0   U     100    0        0 ens33
192.168.75.200  0.0.0.0         255.255.255.255 UH    0      0        0 lo
[root@lijie-03 ~]# 
  1. 测试
    我们使用浏览器访问75.200,可以多切换几个浏览器来访问,当访问量大到一定程度时,我们就能看到负载均衡的效果
    我们也可以在dir上使用下面命令查看活动链接与不活动链接
[root@lijie-01 ~]# ipvsadm -ln  
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.75.200:80 wrr
  -> 192.168.75.130:80            Route   1      1          0         
  -> 192.168.75.134:80            Route   1      0          0         
[root@lijie-01 ~]# 

再或者新创建一个虚拟机来curl

二 keepalived lvs

lvs有一个瓶颈是分发器,如果分发器宕机的话整个服务都会不可用,所以给分发器做一个高可用就可以可很好地解决这个问题,而前面说到的keepalived就是做高可用的工具,并且它也内置了lvs也有负载均衡的作用,还有一个使用使用这种方案的原因是如果我们在使用lvs时没有其他额外操作的时候,我把其中一个rs停机,就会出现分发器仍然把请求转发到已经停机的rs上,而keepalived的出现就是为了解决这个问题
keepalived+lvs DR的配置 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载均衡的功能,所以本次实验可以只安装一台keepalived
keepalived内置了ipvsadm的功能,所以不需要再安装ipvsadm包,也不用编写和执行那个lvs_dir的脚本 三台机器分别为:

  1. dir(安装keepalived)75.136
  2. rs1 75.134
  3. rs2 75.130
  4. vip 75.200
  5. 编辑keepalived配置文件 vim /etc/keepalived/keepalived.conf,内容如下
vrrp_instance VI_1 {
    #备用服务器上为 BACKUP
      state MASTER 
    #绑定vip的网卡为ens33,你的网卡和阿铭的可能不一样,这里需要你改一下
    virtual_router_id 51
    #备用服务器上为90 
    priority 100 
    advert_int 1 
    }   
    virtual_ipaddress {
        192.168.75.200
    }   
}   
virtual_server 192.168.75.200 80 {
    #(每隔10秒查询realserver状态)
    delay_loop 10 
    #(lvs 算法)
    lb_algo wlc
    #(DR模式)
    lb_kind DR
    #(同一IP的连接60秒内被分配到同一台realserver)
    persistence_timeout 60
    #(用TCP协议检查realserver状态)
    protocol TCP 
    real_server 192.168.75.134 80 {
        #(权重) 
        weight 100
        TCP_CHECK {
        #(10秒无响应超时)
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }   
    real_server 192.168.75.130 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }  
}  
  1. 在dir上执行ipvsadm -C 把之前的ipvsadm规则清空掉,
[root@lijie-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.75.200:80 wrr
  -> 192.168.75.130:80            Route   1      0          0         
  -> 192.168.75.134:80            Route   1      0          0         
[root@lijie-01 ~]# systemctl stop keepalived
[root@lijie-01 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:21:5e:c0 brd ff:ff:ff:ff:ff:ff
    inet 192.168.75.136/24 brd 192.168.75.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 192.168.75.200/32 brd 192.168.75.200 scope global ens33:2
       valid_lft forever preferred_lft forever
    inet 192.168.75.150/24 brd 192.168.75.255 scope global secondary ens33:0
       valid_lft forever preferred_lft forever
    inet6 fe80::8ace:f0ca:bb6e:d1f0/64 scope link 
       valid_lft forever preferred_lft forever
    inet6 fe80::d652:b567:6190:8f28/64 scope link tentative dadfailed 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:21:5e:ca brd ff:ff:ff:ff:ff:ff
[root@lijie-01 ~]# 
[root@lijie-01 ~]# ipvsadm -C
[root@lijie-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[root@lijie-01 ~]# 
[root@lijie-01 ~]# systemctl start keepalived
[root@lijie-01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.75.200:80 wlc persistent 60
  -> 192.168.75.130:80            Route   100    0          0         
  -> 192.168.75.134:80            Route   100    0          0         
[root@lijie-01 ~]# 
  1. systemctl restart network 可以把之前的vip清空掉
  2. 两台rs上,依然要执行/usr/local/sbin/lvs_rs.sh脚本
  3. keepalived有一个比较好的功能,可以在一台rs宕机时,不再把请求转发过去
  4. 测试

扩展
haproxy+keepalived http://blog.csdn.net/xrt95050/article/details/40926255
nginx、lvs、haproxy比较 http://www.csdn.net/article/2014-07-24/2820837
keepalived中自定义脚本 vrrp_script http://my.oschina.net/hncscwc/blog/158746
lvs dr模式只使用一个公网ip的实现方法 http://storysky.blog.51cto.com/628458/338726

转载于:https://my.oschina.net/u/3746774/blog/1794346

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值