先介绍下几个名词

Directer：也可以称为调度器，LVS前端设备

realserver：也称为真实内部服务器，是真正在提供服务的

VIP：对外公布的IP，即客户请求进来的IP地址

DIP：调度器和realserver之间通信的地址

 

NAT模式

NAT模式简介：

VS/NAT通过调度器接收请求后，通过算法选择一台realserver，然后进行地址的转换，将报文的目标IP修改为realserver的DIP，端口修改为realserver对应的端口，然后发送给realserver。同时会在连接表中记录这个连接，对之后相同源地址的请求都指向这台realserver。在realserver处理包的请求后，再将包转发给调度器，调度器通过连接表的记录，将目标地址转换为客户请求的地址，转发给客户端。所以在NAT模式中，realserver只要运行集群服务，然后将网关指向调度器就行，不需要进行其它额外的配置。因为在此模式中,调度器要对进来和出去的包都进行地址的改写，所以调度器很容易成为整个集群的瓶颈。一般在NAT模式下，后端的realserver不超过5台。

 

realserver配置要求

开启对于服务，配置内部私网地址，网关指向调度器

Directer配置要求 基本配置

调度器需要2块网卡（一块网卡对外，一块网卡对内。1块也可以，配置子接口，对外的VIP和DIP都配置在同一网卡上，不过这样会更加的降低调度器的性能，建议还是双网卡）

关闭selinux和iptables

setenforce 0

service iptables stop

（为了避免不必要的麻烦，在每台服务器上都关闭这2个服务）

打开包转发功能

echo "1" > /proc/sys/net/ipv4/ip_forward

这样系统就相当于一台路由器了

这个命令只能暂时开启Linux的路由转发功能，重启系统之后就恢复原来的配置了。

可以通过在/etc/rc.d/rc.local 文件中加上上述的命令，每次开机启动都会自动开启。

另外还可以通过修改/etc/sysctl.conf文件，让包转发功能在系统启动时自动生效:

sysctl -w net.ipv4.ip_forward=1

 

配置集群服务

首先这里定义3个变量，可以通过实际情况修改

$VIP:对外服务的IP

$DIP:调度器和realserver的内部私网IP

$Port:服务端口

[root@localhost ~]# ipvsadm -A –t $VIP：$Port-s rr

解释：-A表示添加一个集群服务（可以添加多个，比如添加一个web的80和一个https的443）-t表示是tcp协议 -s表示调度算法是轮询（一共有10种调度算法，可以按照自己实际需要选择）
[root@localhost ~]# ipvsadm -a –t $VIP：$Port -r $DIP:$Port-m

解释：-a表示添加一个realserver，后面跟上之前定义的集群服务的地址端口，-r表示增加具体realserver的地址，-m表示模式为NAT模式

 

 

 

DR模式

DR模式简介

VS/DR通过改写请求报文的MAC地址，将请求的包发送到realserver上，不改变包的源和目标的IP地址，然后realserver直接回复客户端，不再经过LVS调度器，这样大大的减轻了LVS的负担。网上有测试，100 万连接的时候，才用去内存 208 M

但是由于LVS需要直接将包转发给realserver，所以调度器和realserver必须在同一个网段上，如果直接在LVS上配置的是公网地址的话，就需要公网IP地址的数量是realserver的数量加1。如果公司出口的路由器性能足够好，在路由器上做一个静态的NAT映射，然后集群配置死亡地址，这样能大量节省IP。

 

Realserver配置要求 基本配置

 

首先先配置限制arp，不然等配置好地址后就产生地址冲突了

通过修改内核参数来实现

在linux中 ，默认在接口上通告所有接口上IP的arp广播，在接口上应答所有接口上IP的arp请求

arp_announce 限制arp通告

限制等级

0：在接口上通告所有接口上IP的arp广播

1：对于其它设备的arp请求，在接口上尽量限制广播通告应答（不够严格）

2：只通告本接口上IP的arp广播

arp_ignore 限制arp应答

限制等级

0：对于其它设备 的arp请求，应答所有其它接口的上IP的arp应答

1：对于其它设备的arp请求，只应答本接口上IP的arp应答

[root@r1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@r1 ~]# echo 2 > /proc/sys/net/ipv4/conf//lo/arp_announce
[root@r1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@r1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

 

配置VIP和DIP

我们在realserver上的lo口配置VIP，这样配置就限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突

[root@r1 ~]# ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255

ifconfig eth0 $DIP up

注意此VIP的接口的广播地址仍然为VIP，限制其广播，子网掩码是32位，下面调度器上的配置也注意此项

 

 

配置特殊路由，使目标为VIP的包的以源地址为VIP的lo口出去

route add –host $VIP dev lo:1

 

Directer配置要求

配置VIP和DIP，VIP配置在物理网卡的子接口上

ifconfig eth0 $DIP broadcast $VIP netmask 255.255.255.0 up

ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up

 

配置特殊路由，目标是VIP的包从配置了VIP的物理子接口上出去

route add –host $VIP dev eth0:1

 

集群配置

[root@localhost ~]# ipvsadm -A –t $VIP：$Port-s rr

解释：-A表示添加一个集群服务（这里和NAT中的配置一样）


[root@localhost ~]# ipvsadm -a –t $VIP：$Port -r $DIP:$Port-g

解释：其它和NAT也差不多，在最后的模式改为-g，即DR模式

 

 

总结：

对于LVS这2种模式的选择上，具体要看不同的应用而定。如果网站规模（其它服务服务也一样）比较大， 后台需要超过5台的web服务器，那么DR模式是不错的选择，能承载更大的访问量，但对地址数量要求高。

如果网站规模比较小，提供服务的服务器少于5台，那么NAT模式能节省大量的公网IP地址

折中的方式是：公司的出口路由器性能足够强大，做一个静态NAT映射，然后使用DR模式，这样即节省了大量公网IP地址，也提升了集群性能，前提是你有对机房出口路由器的控制权限，而且出口路由器性能足够强

这里只是介绍了LVS基本的配置，在真正使用中还要搭配headbeat或者keeplived来使用，实现单点故障转移，这些下次再介绍。

 

下期linux博文预告：搭建基于LVS+squid+apche的高性能高可用集群（内容还在想，可能会加入nginx做反向代理，后面再加squid做缓存，或者用varlish代替squid）