LVS | LVS-NAT 模式安装

一、准备工作——LVS Server

LVS Server：LSV Server有两张网卡，作用如下：

• eth0：192.168.3.10：这张网卡对应一个封闭的内网，不能访问外网资源，外网也不能直接通过这个IP访问这台主机；
• eth1：192.168.2.100：这张网卡设置的IP可以访问外网，也可以被外网访问。eth1的网关：192.168.2.1。

1、以下是设置的eth0 ip信息

[root@localhost /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:24:26:a6"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.3.10"
NETMASK="255.255.255.0"
NAME="eth0"

2、以下是设置的eth1 ip信息

[root@localhost /]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE="eth1"
BOOTPROTO="static"
HWADDR="00:0c:29:24:26:b0"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.2.100"
NETMASK="255.255.255.0"
NAME="eth1"
GATEWAY="192.168.2.1"

3、设置完成后，要重启network服务

[root@localhost ~]# service network restart
Restarting network (via systemctl):                        [  确定  ]

4、ping ping更健康（说明到外网的网关工作是正常的）

C:\Users\1234>ping 192.168.2.100

正在 Ping 192.168.2.100 具有 32 字节的数据:
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.2.100 的回复: 字节=32 时间<1ms TTL=64

192.168.2.100 的 Ping 统计信息:
    数据包: 已发送 = 4，已接收 = 4，丢失 = 0 (0% 丢失)，
往返行程的估计时间(以毫秒为单位):
    最短 = 0ms，最长 = 0ms，平均 = 0ms

另外还可以通过route命令检查：

[root@localhost ~]# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         192.168.2.1      0.0.0.0         UG    101    0        0 eth1
192.168.2.0     0.0.0.0         255.255.255.0   U     101    0        0 eth1
192.168.3.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0

二、准备工作——Real Server

Real Server：Real Server有一张网卡，在一个封闭的内网环境中。

• eth0:192.168.3.11：这样LVS Server和Real Server就组成了一个相对封闭的局域网络。注意按照我们介绍的NAT原理，Real Server的eth0的默认网关要设置成Lvs Server：192.168.3.10；
• 在Real Server上运行了一个Nginx程序，在80端口上。这样以便在后续的过程中，测试LVS-NAT的工作是否正常。

1、以下是设置的Real Server eth0 的IP信息

[root@localhost /]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0c:29:16:8a:87"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.3.11
NETMASK=255.255.255.0
GATEWAY="192.168.3.10"

一定注意Real Server的网关要设置到LVS的IP：192.168.3.10。

2、ping ping更健康（说明Real Server和LVS Server是互通的）

[root@localhost /]# ping 192.168.3.10
PING 192.168.3.10 (192.168.3.10) 56(84) bytes of data.
64 bytes from 192.168.3.10: icmp_seq=1 ttl=64 time=0.318 ms
64 bytes from 192.168.3.10: icmp_seq=2 ttl=64 time=0.272 ms
64 bytes from 192.168.3.10: icmp_seq=3 ttl=64 time=0.506 ms
64 bytes from 192.168.3.10: icmp_seq=4 ttl=64 time=0.351 ms
64 bytes from 192.168.3.10: icmp_seq=5 ttl=64 time=0.456 ms
^C
--- 192.168.3.10 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 4004ms
rtt min/avg/max/mdev = 0.272/0.380/0.506/0.089 ms

另外一个检查方式，也可以通过route命令：

[root@localhost /]# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         localhost       0.0.0.0         UG    101    0        0 eth0
192.168.3.0     0.0.0.0         255.255.255.0   U     100    0        0 eth0

注意，默认的路由指向192.168.3.10。

3、看看Nginx是不是工作正常的

[root@localhost ~]# curl 192.168.3.11
192.168.3.11

Nginx的安装配置请参考：Nginx 服务器安装与配置

Nginx虚拟机的配置请参考

• Nginx 虚拟主机配置的三种方式（一）（基于IP）
• Nginx 虚拟主机配置的三种方式（二）（基于端口）
• Nginx 虚拟主机配置的三种方式（三）（基于域名）

按照同样的步骤多陪几台服务器，便于测试。

完成准备工作后，我们可以开始安装和配置LVS了。

三、开始安装和配置LVS-NAT模式

ipvsadm是一个LVS的管理程序。我们队LVS的配置都是通过这个管理程序进行实现的。若没有安装请参考LVS 安装使用详解（ipvsadm命令）

然后开始配置。首先我们要设置LVS机器支持IP转发功能。注意默认IP转发功能是关闭的，重启机器后，又会关闭：

[root@localhost ~]# echo 1 >> /proc/sys/net/ipv4/ip_forward

然后我们查看一下，是否改写成功：

[root@localhost ~]# cat /proc/sys/net/ipv4/ip_forward
1

注意，如果您使用vim或者vi命令，改写文件，是不会成功的。因为这个文件存在于内存。不在硬盘上。所以只能通过echo这样的命令改写。

打开LVS机器支持IP转发功能，永久生效

[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

接下来执行如下的命令：

[root@localhost ~]# ipvsadm -At 192.168.2.100:80 -s rr
[root@localhost ~]# ipvsadm -at 192.168.2.100:80 -r 192.168.3.11 -m
[root@localhost ~]# ipvsadm -at 192.168.2.100:80 -r 192.168.3.12 -m

我们来解释一下其中的参数：

-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务。
-s --scheduler scheduler 使用的调度算法，可选项包括：rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq（关于调度算法我们在上篇文章中已经详细介绍了）
-r --real-server server-address 真实的服务器[Real-Server:port]。
-m --masquerading 指定LVS 的工作模式为NAT 模式。

最后我们测试一下：

浏览器一：

浏览器二：

我们在相对于Real Server的外网，通过192.168.2.100的LVS Server IP访问到了Real Server上的Nginx服务。安装和配置成功。

在测试时发现，轮训调度的算发并没有真正的平均进行调度，不知道什么原因。

四、关于iptables和重启服务的说明

在配置LVA-NAT过程中，建议关闭LVS和Real Server的防火墙服务。这样可以避免不必要的错误发生，增加一次配置成功的几率。但是正常生产环境中，LVS的防火墙根据实际情况最好还是要打开。

请注意，刚才使用ipvsadm配置的信息，在LVS服务器重启后，就会失效。包括ip_forward的配置。所以，最好制作一个脚本文件，并加入到/etc/profile中：

[root@localhost ~]# vim /usr/lvsshell.sh

#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward 
ipvsadm -C
ipvsadm -At 192.168.2.100:80 -s rr
ipvsadm -at 192.168.2.100:80 -r 192.168.3.11 -m
ipvsadm -at 192.168.2.100:80 -r 192.168.3.12 -m

附、配置过程中的问题

1、最后在浏览器进行测试时，发现访问不到后端Nginx的服务

决解方法：将服务器上多余的默认路由删掉，只留下一条默认的路由。