LVS-DR模式+keepalived

一. LVS-DR

LVS结构与工作原理

      

       LVS由前端的负载均衡器(Load Balancer，LB)和后端的真实服务器(Real Server，RS)群组成。RS间可通过局域网或广域网连接。LVS的这种结构对用户是透明的，用户只能看见一台作为LB的虚拟服务器(Virtual Server)，而看不到提供服务的RS群。当用户的请求发往虚拟服务器，LB根据设定的包转发策略和负载均衡调度算法将用户请求转发给RS。RS再将用 户请求结果返回给用户。同请求包一样，应答包的返回方式也与包转发策略有关。

IP虚拟服务器IPVS

     IPVS软件实现了三种IP负载均衡技术:  

[1].VS/NAT
通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返回给客户，完成整个负载调度过程。
[2].VS/TUN
采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报 文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用VS/TUN技术后，集群系统的最大吞吐量可以提高10倍。
[3].VS/DR
VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地 提高集群系统的伸缩性。这种方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是要求调度器与真实服务器都有一块网卡连 在同一物理网段上

本篇我们先来介绍介绍DR模式

DR（Direct Routing）模式配置实现LVS

route（路由）-> F5 -> lvs(4) -> nginx(7) / haproxy -> web

LVS配置（DR）

在server1：

配置负载均衡，高可用yum源

vim /etc/yum.repos.d/rhel-source.repo

配置虚拟ip

ip addr add 172.25.11.100/24 dev eth1

ip addr  

 yum install ipvsadm -y

ipvsadm -A -t 172.25.11.100:80 -s rr     #添加策略，指定vip172.25.11.100：80，-t指tcp，-s rr指定轮询

ipvsadm -a -t 172.25.11.100:80 -r 172.25.11.2:80 -g  #将虚拟的ip指定到真实的ip，-r指定realserver   -t指定tcp协议 -g指dr模式

 ipvsadm -a -t 172.25.11.100:80 -r 172.25.11.3:80 -g

ipvsadm -ln  #列出ipvsadm策略

 /etc/init.d/ipvsadm save     保存关机再开机后还存在

在server2中：

/etc/init.d/httpd start

ip addr add 172.25.11.100/32 dev eth1

ip addr

 

为防止客户端在访问vip时直接访问到realserver，在rs上设置一定的策略

 yum install arptables_jf -y   

arptables -A IN -d 172.25.11.100 -j DROP     #访问realserver的100ip时的请求直接丢弃

arptables -A OUT -s 172.25.11.100 -j mangle --mangle-ip-s 172.25.11.2  realserver发出的信息全部转为他的真实ip

 arptables -nL

 /etc/init.d/arptables_jf save     #永久保存设置

 

在server3上：

/etc/init.d/httpd start

ip addr add 172.25.11.100/32 dev eth1

ip addr

yum install arptables_jf -y   

arptables -A IN -d 172.25.11.100 -j DROP     #访问realserver的100ip时的请求直接丢弃

arptables -A OUT -s 172.25.11.100 -j mangle --mangle-ip-s 172.25.11.3  realserver发出的信息全部转为他的真实ip

 arptables -nL

/etc/init.d/arptables_jf save

在真机中测试：

curl 172.25.11.100     访问调度器

arp -an | grep 100         查看100的mac地址，会发现访问的是调度器的ip，ip与调度器的mac对应

arp -d 172.25.11.100    清空arp的缓存
arp -a                               可以查看arp所有请求信息

以上操作无法实现健康检查我们通过ldiretord来实现

在server1上：

yum install -y ldirectord-3.9.5-3.1.x86_64.rpm

rpm -ql ldirectord    #查找配置文件

cp /usr/share/doc/ldirectord-3.9.5/ldirectord.cf /etc/ha.d/  

#复制到这里的原因是/etc/init.d/ldirectord中配置文件指向为这里

修改配置文件

cd /etc/ha.d/

vim ldirectord.cf

做如下修改：

 25 virtual=172.25.11.100:80    #vip指定
 26         real=172.25.11.2:80 gate      #后端指定
 27         real=172.25.11.3:80 gate

 28         fallback=127.0.0.1:80 gate       #当前面的都挂掉以后调度器充当服务器

 36         request="index.html"    #后端检查位置
 37         #receive="Test Page"     #后端检查页面内容

 

/etc/init.d/ipvsadm stop

/etc/init.d/ldirectord start    #重新启动ldirectord服务

ipvsadm -ln   查看规则，ldirectord会将规则自动添加上去

并且该服务提供健康检查，如果有一个RS挂掉以后，他会在规则中将它去除，如果全部都挂掉以后，VS将充当服务器，一般这个服务器的页面写该网站正在维护，便于减少流量

vim /etc/httpd/conf/httpd.conf   将端口改为80端口

/etc/init.d/httpd restart

cd /var/www/html/

vim index.html

 

在真机中测试：

当server2和server3都没有启动apache时server1自己会顶上，一旦后端服务器（realserver）任何一个开着server1都不会工作的。

keepalived

keepalived这个服务也提供高可用，但是它可以提供负载均衡，Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统 中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人 工干涉，需要人工做的只是修复故障的服务器。

在server1中：

1)找到一个keepalived安装包

tar zxf keepalived-2.0.6.tar.gz

ls

cd keepalived-2.0.6

 ./configure --prefix=/usr/local/keepalived --with-init=SYSV

 yum search OpenSSL

yum install openssl-devel.x86_64 -y

./configure --prefix=/usr/local/keepalived --with-init=SYSV  #源码安装三部曲

make

make install

cd /usr/local/keepalived/

ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

 ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/

ln -s /usr/local/keepalived/etc/keepalived/ /etc/

ln -s /usr/local/keepalived/sbin/keepalived /sbin/

 chmod +x /usr/local/keepalived/etc/rc.d/init.d/keepalived

创建备用服务器的时候可以将/etc/init.d/keepalived 直接发给备用服务器，然后创建软链接

如果可以正常启动服务说明安装过程没有问题

cd /etc/keepalived/

vim keepalived.conf          #编辑配置文件，修改后的内容如下
! Configuration File for keepalived

global_defs {
   notification_email {
    root@localhost                     #邮件发送到地址
   }
   notification_email_from keepalived@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
   vrrp_skip_check_adv_addr
  # vrrp_strict                      所用版本2.06   如果不将这个语句注释，启动以后会自动给火墙里面加拒绝所有的策略
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER                                    # 将这个机器设置为主服务器，在备用机器里面应该设置为BACKUP
    interface eth0
    virtual_router_id 12
    priority 100                                        #权重越大越优先,备用机器可以将权重减小，如果性能相同，无所谓
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
    172.25.12.100                                      #vip
    }
}

virtual_server 172.25.12.100 80 {
    delay_loop 3
    lb_algo rr
    lb_kind DR                                          #DR模型
    #persistence_timeout 50
    protocol TCP

    real_server 172.25.12.2 80 {              #RS的配置
        weight 1
        TCP_CHECK
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }

    real_server 172.25.12.3 80 {                          #RS配置
        weight 1
    TCP_CHECK
            connect_timeout 3
            retry 3
            delay_before_retry 3
        }
    }
}

• 测试

echo c > /proc/sysrq-trigger                   直接使内核崩溃，可以模拟VS挂掉，重新启动以后恢复

curl 172.25.12.100           如果两个RS的发布页面不同，执行这条命令多次会轮流交换，实现（负载均衡）

可以创建两个RS两个VS来测试

 

RS中安装httpd

该软件也有健康检查功能，但是如果RS都挂掉以后就全挂了，VS不会去充当RS

如果将主VS挂掉以后，备用的VS将会自动顶替位置  （高可用）

注意：需要在同一个网段

 

总结：ldirectord是与keepalived之间是冲突的，所以需要关闭ldirectord在进行keepalived 的实验的时候。

idrectord 提供负载均衡，提供健康检查，可以VS充当RS来提供页面

keepalived需要源码编译，提供高可用和负载均衡，健康检查，不能VS充当RS