Linux集群架构（下）

 

一、LVS DR模式搭建

在实际生产环境中企业应用最多的一般是DR模式，但是DR模式因为每台机器都是需要配置公网IP非常浪费，所以可以让所有机器都在自建的内网上使用LVS，然后让公网IP端口映射到内网的vip端口上的。

实验环境,设置三台虚拟机
分发器，也叫调度器（简写为dir）内网：192.168.157.128（仅主机），vip=192.168.157.200
lvs-rs1  内网：19168.157.130（仅主机），设置网关：19168.157.2
lvs-rs2  内网：192.168.157.129（仅主机），设置网关：192.168.157.2
调度器dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh 内容如下
#! /bin/bash

echo 1 > /proc/sys/net/ipv4/ip_forward

ipv=/usr/sbin/ipvsadm

vip=192.168.157.200

rs1=192.168.157.130

rs2=192.168.157.129

#注意这里的网卡名字

ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip dev ens33:2

$ipv -C

$ipv -A -t $vip:80 -s wrr

$ipv -a -t $vip:80 -r $rs1:80 -g -w 1

$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh 内容如下
#/bin/bash

vip=192.168.157.200

#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端

#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

执行dir和两台sr上的脚本
测试如下：

 

 

二、keepalived lvs

完整架构需要两台服务器（角色为dir）分别安装keepalived软件，目的是实现高可用，但keepalived本身也有负载均衡的功能。其原因有两个，其一，负载均衡中的重要角色分发器不能宕机，其二，后端的rs宕机时可以不分发用户请求，自能分发请求。

keepalived内置了ipvsadm的功能，所以不需要再安装ipvsadm包，也不用编写和执行那个lvs_dir的脚本
实验环境,设置三台虚拟机
分发器，也叫调度器（简写为dir）内网：192.168.157.128（仅主机），vip=192.168.157.200
lvs-rs1  内网：192.168.157.130（仅主机），设置网关：192.168.157.2
lvs-rs2  内网：192.168.157.129（仅主机），设置网关：192.168.157.2
 分发器安装keepalived：yum install -y keepalived
编辑keepalived配置文件：vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {

    #备用服务器上为 BACKUP

    state MASTER

    #绑定vip的网卡为ens33

    interface ens33

    virtual_router_id 51

    #备用服务器上为90

    priority 100

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass aminglinux

    }

    virtual_ipaddress {

        192.168.157.200

    }

}

virtual_server 192.168.157.200 80 {

    #(每隔10秒查询realserver状态)

    delay_loop 10

    #(lvs 算法)

    lb_algo wlc

    #(DR模式)

    lb_kind DR

    #(同一IP的连接60秒内被分配到同一台realserver)

    persistence_timeout 60

    #(用TCP协议检查realserver状态)

    protocol TCP

vim /etc/keepalived/keepalived.conf

    real_server 192.168.157.130 80 {

        #(权重)

        weight 100

        TCP_CHECK {

        #(10秒无响应超时)

        connect_timeout 10

        nb_get_retry 3

        delay_before_retry 3

        connect_port 80

        }

    }

    real_server 192.168.157.129 80 {

        weight 100

        TCP_CHECK {

        connect_timeout 10

        nb_get_retry 3

        delay_before_retry 3

        connect_port 80

        }

     }

}

清空之前设置的ipvsadm规则：ipvsadm -C
查看ipvsadm规则：ipvsadm -ln

分发器dir上打开路由转发功能：echo 1 > /proc/sys/net/ipv4/ip_forward
两台rs上编写脚本 vim /usr/local/sbin/lvs_rs.sh 内容如下
#/bin/bash

vip=192.168.157.200

#把vip绑定在lo上，是为了实现rs直接把结果返回给客户端

ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up

route add -host $vip lo:0

#以下操作为更改arp内核参数，目的是为了让rs顺利发送mac地址给客户端

#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

执行两台rs上的脚本：sh  /usr/local/sbin/lvs_rs.sh
在分发器dir上启动keepalived服务：systemctl start keepalived
查看ipvsadm规则：ipvsadm -ln

• 测试

• 关闭192.168.157.130的nginx：

• 重新开启192.168.157.130的nginx后，再次加载回来。

 

 

扩展

heartbeat和keepalived比较http://blog.csdn.net/yunhua_lee/article/details/9788433  

DRBD工作原理和配置   http://502245466.blog.51cto.com/7559397/1298945

mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313

lvs 三种模式详解  http://www.it165.net/admin/html/201401/2248.html

lvs几种算法 http://www.aminglinux.com/bbs/thread-7407-1-1.html

关于arp_ignore和 arp_announce http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html

LVS DR模型中的arp_ignore https://www.imooc.com/article/79661

lvs原理相关的   http://blog.csdn.net/pi9nc/article/details/23380589

haproxy+keepalived  http://blog.csdn.net/xrt95050/article/details/40926255

nginx、lvs、haproxy比较  http://www.csdn.net/article/2014-07-24/2820837

keepalived中自定义脚本 vrrp_script   http://my.oschina.net/hncscwc/blog/158746

lvs dr模式只使用一个公网ip的实现方法   http://storysky.blog.51cto.com/628458/338726