LVS负载群集实验篇

最新推荐文章于 2024-09-25 15:20:18 发布

weixin_33709590

最新推荐文章于 2024-09-25 15:20:18 发布

阅读量82

点赞数

文章标签：操作系统网络开发工具

原文链接：http://blog.51cto.com/zhangyongli/1288731

版权

上次提到，LVS（linux虚拟服务）负载群集有三种模式，NAT模式 IP隧道模式,DR模式。这次就分析一下LVS的NAT模式和DR模式，因为IP隧道模式不是很常用，也比较麻烦。

NAT模式

环境：

NAT模式负载调度器既是客户端访问服务的唯一入口，也是服务器池中各节点响应客户端的出口所以要启用ip转发功能以及vs_ip模块流量的进出转发不能有阻碍，防火墙要配置。服务器池中就构建web服务了各个节点要访问统一的网页文件（NFS发布共享）

清理一下思路：

调度器收到客户端的请求后，目标ip是VIP 根据DNAT和ipvsadm策略，把数据包重写地址，发到服务器中的某一节点服务器。节点服务器回复给调度器，调度器在更具策略更改数据包地址响应给客户端。所以数据的进出都要经过调度器。

---负载调度器配置：

加载vs_ip模块并添加到启动模块

modprobe ip_vs

---开启ip转发功能 vim /etc/sysctl.conf

把“net.ipv4.ip_forward = 0 ”的值给成1 启用转发

重启系统或者执行命令 sysctl -p 生效

配置防火墙允许80的入站和转发

安装LVS管理工具ipvsadm

rpm -ivh ipvsadm-1.25-9.el6.i686.rpm

ipvsadm 工具的使用

-A 表示添加虚拟服务器（这里我就把VIP配置成调度器的外部接口12.12.12.1了）

-t 指定vip（虚拟ip）的地址和端口

-s 指定算法轮询（rr），加权轮询（wrr），最少链接（lc），加权最少链接（wlc）这是四种最常用的

-p 指定保持时间s

-a 表示添加真实服务器（服务器池中的节点）

-r 指定RIP（真实ip）的地址和端口

-m 工作模式是NAT

-g 工作模式DR

-i 工作模式 RUN

-w 配置权重默认值是1 为0 时表示暂停

创建条目

ipvsadm -A -t 12.12.12.1:80 -s rr

ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.1:80 -m

ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.2:80 -m

保存 service ipvsadm save

查看 ipvsadm -L 或 ipvsadm -l

查看负载链接情况 ipvsadm -lcn 或 -ln 现在为空

负载调度器完成

---NFS共享服务器（RHEL6)

NFS服务依赖于RPC机制，已完成本地的映射过程所以要安装nfs-utils 用于发布共享和访问 rpcbind用于RPC的支持

rpm -ivh rpcbind-0.2.0-8.el6.i686.rpm

rpm -ivh nfs-utils-lib-1.1.5-1.el6.i686.rpm

rpm -ivh nfs-utils-1.2.2-7.el6.i686.rpm

配置共享空间

编辑NFS的配置文件 /etc/exports 默认为空需要手动添加

/wwwroot/ 192.168.1.0/24(rw,sync,no_root_squash)

其中客户机部分可以是主机名 ip地址网段地址允许用* ？通配符表示

括号里的rw 表示读写 sync 表示同步写入 root_squash 表示当客户及以root身份访问时赋予本地root权限（默认是root_quash）加上no_ 表示将作为nfsnobody的身份对待 ro表示只读权限（可以为不同的主机配置不同的权限）

启动服务注意:rhel5系统中RPC服务脚本是portmap而rhel6系统中RPC服务脚本是rpcbind

NFS服务端口较多，且不固定所以建议关掉防火墙

---服务器节点配置

启动web服务

防火墙配置允许80

挂载共享存储

写到/etc/fstab 文件中实现自动挂载

echo "192.168.1.10:/wwwroot/ /var/www/html nfs defaults,_netdev 0 0" >> /etc/fstab

查看

两台做相同的配置

然后创建网页文件做测试

客户端访问12.12.12.1做测试

负载调度器查看 ipvsadm -lvn

可以看出调度器把来自12.12.12.2的请求分别交给过192.168.1.1和192.168.1.2两台服务器处理

Forward 下面是 Masq 表示 NAT 工作模式如果是Router 表示DR

DR模式

DR模式中，Lvs不在是服务器池中各节点的出口，他们通过自己的路由回应客户端。LVS扮演的角色只是整个群集的入口。从性能上说，是减少了LVS调度器的负担，但是整个群集的安全性相比NAT工作模式下略有不足，但是“安全”一词只能是说没有绝对，无论是哪种方，还得冲其他方面综合考虑。

环境：

这次没有搭建NFS网络共享（根据需求而定）

负载调度器：15.15.15.1

Webserver 1 ：15.15.15.2

Webserver2 ：15.15.15.3

群集ip （vip）：15.15.15.10

客户端： 15.15.15.100

DR模式说了，LVS的功能有所改变，他不再做NAT转换了，他怎么监听客户端的请求？收到请求之后如何让服务器池中的各个节点知道（毕竟他们才提供响应的服务）？整个群集是有一个VIP（虚拟ip），就算节点服务器知道有请求，那么请求包中的目标地址也是vip的，怎么以VIP回应客户端？多台节点都要回应客户端，所以ARP是否冲突？

①负载调度器如何监听客户端的请求？

整个群集还是有一个VIP，他负责监听客户端的请求。单独做LVS-DR 的时候，他要建立在物理接口上面，也就是我们说的虚拟接口。

②怎么通知服务器池中的节点？

通过ipvsadm 设置的规则 NAT模式中已经介绍了

③通常客户端是不会接受自己没有请求过的数据包（tcp三次握手），所以节点服务器不经过LVS调度服务器响应客户端的话就得以vip的源地址数据包回应客户端

④问题三中，响应客户端的节点服务器不止一台。ARP中已知vip 15.15.15.10 他的MAC 地址是多少，会有N多的答案造成数据传输混乱。所以要更改系统参数，不让他响应ARP和宣告ARP。

有点乱？我也有点乱，咱再重新过一遍

第一阶段

调度器收到客户端的请求，目标地址是VIP 15.15.15.10 的80端口。而自己没有80服务，在根据ipvsadm创建的策略，要把客户端的请求转发给服务器池中的某个节点，具体是哪个？根据ipvsadm策略。

第二阶段

转发的数据包中，不管源ip地址是谁？（物理ip地址也好，建立在物理网卡上的虚拟ip也好-VIP）他的二层封装都是一个MAC地址，这个包表达的意思就是客户端要访问群集ip的80端口，你看着办。（另外，还有资料说，这个包只是一个二层的包）

第三阶段（下面详细说）

服务器池中的某个节点一看，目标是VIP 根据添加的路由条目，把包直接给自己的lo：0 接口而Apache默认是监听自己的所有网卡，正中下怀。因为收到的是一个客户端访问VIP：80的请求包所以构建响应包的时候就是VIP到客户端的了，通过自己的网络参数配置，响应客户端了，并没有经过调度器。

下面有一步步实现

负载调度器：

加载 ip_vs 模块安装ipvsadm包

创建虚拟接口

修改参数为

重启网卡服务后

调整系统参数

对于DR群集模式来说，由于LVS负载调度器和各节点需要共用VIP地址，为了避免网络内的ARP解析出现异常，应该关闭linux内核的ICMP重定向参数响应。

注：ICMP重定向报文是ICMP控制报文中的一种。在特定的情况下，当路由器检测到一台机器使用非优化路由的时候，它会向该主机发送一个ICMP重定向报文，请求主机改变路由。此类报文有可能用以***,所以系统应该拒绝接受ICMP重定向。

编辑 /etc/sysctl.conf 添加

上图中参数的含义是发送重定向，0表示关闭此项功能。此处修改是为了安全考虑关闭重定向功能。如果具有 eth1、eth2 等多个接口，必须对所有接口执行该操作

命令 sysctl -p 修改生效

添加 ipvsadm 规则

其他方面注意防火墙的配置参考NAT

节点服务器：

开启httpd 防火墙策略

最主要的是添加网卡 lo：0

ifcf-lo:0的配置注意子网掩码是四个255 表示地址只有一个

重启网卡服务后

添加路由

route add -host 15.15.15.10 dev lo：0

查看

调整参数禁止ARP响应和宣告

编辑/etc/sysctl.conf 文件

net.ipv4.conf.default.arp_ignore = 1

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.lo.arp_ignore = 1

arp_ignore:定义了网卡在响应外部ARP请求时候的响应级别0：默认值，不管哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应1：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就一定不响应，只有发现请求的MAC是自己的才给与响应。

net.ipv4.conf.default.arp_announce =2

net.ipv4.conf.all.arp_announce =2

net.ipv4.conf.lo.arp_announce = 2

定义了网卡在向外宣告自己的MAC-IP时候的限制级别有三个值：0：默认值，不管哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应1：尽量避免响应ARP请求中MAC不是本网卡的，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就尽量避免响应2：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就一定不响应，只有发现请求的MAC是自己的才给与响应。

命令sysctl -p使修改生效

测试