1、LVS环境组网
由于是使用的VM环境,自己PC当作客户机(即公网地址),调度器与服务器都是VM中虚拟机,所以客户和所有服务器之间都是物理直接相连网络,逻辑拓扑图如下:
2、ipvsadm安装前准备
外部IP地址 内部IP地址 角色
/24 /24 LVS调度器(虚拟机)
/24 /24 RS1(虚拟机)
/24 /24 RS2(虚拟机)
/24 无 客户机(自己电脑)
注:实际应用中RS1 RS2没有外部地址,当前环境中,没有物理双网卡环境,都采用一个网卡配置多个IP地址。 例:
[root@LVS1 ~]# cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0:0 [root@LVS1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0:0 #修改后保存退出 DEVICE=eth0:0 ONBOOT=yes BOOTPROTO=static IPADDR= NETMASK= [root@LVS1 ~]# /etc//network restart
3、httpd与ipvsadm下载
1)在各服务器上关闭防火墙和修改主机名:
[root@LVS1 ~]# service iptables stop [root@LVS1 ~]# hostname LVS1 [root@RS1 ~]# service iptables stop [root@RS1 ~]# hostname RS1 [root@RS2 ~]# service iptables stop [root@RS2 ~]# hostname RS2
2)在RS1 RS2上安装httpd服务
[root@RS2 ~]# yum install httpd –y [root@RS2 ~]#/etc//httpd start [root@RS2 ~# ps -ef | grep httpd [root@RS1 ~]# yum install httpd –y [root@RS1 ~]# /etc//httpd start [root@RS1 ~# ps -ef|grep httpd <==查看httpd服务是否起来 [root@RS1 ~]# cat /etc/httpd/conf/ | grep DocumentRoot <==查找系统站点目录路径 # DocumentRoot: The directoryout of which you will serve your DocumentRoot"/var/www/html" # This should be changed towhatever you set DocumentRoot to. # DocumentRoot/www/docs/dummy- [root@RS1 ~]# echo"RS1" > /var/www/html/ [root@RS2 src]# echo"RS2" > /var/www/html/
Httpd服务测试:
3)下载ipvsadm
wget /software/kernel-/ipvsadm-
ln 我所使用的源包下载目录/usr/local/src
我的LVS环境:
[root@LVS1 ~]# yum -y install kernel-devel gcc c++ [root@RS1 src]# cat /etc/redhat-release CentOS release (Final) [root@RS1 src]# uname -rm - x86_64
ipvsadm-对内核有要求,要求内核版本在及以后的版本,如果符合了系统环境,还要安装依赖包yum install libnlpopt -y。 我的内核版本不满足,使用ipvsadm-。
[root@LVS1 src]# tar -zxf ipvsadm- [root@LVS1 src]# ln -s /usr/src/kernels/--x86_64 /usr/src/linux <==编译有使用的路径为/usr/src/linux,可在Makefile中查看,如果不做链接,会编译失败 [root@LVS1 src]# ll /usr/src/ total 16 drwxr-xr-x 2 root root 4096 May11 2011 debug drwxr-xr-x 3 root root 4096Aug 5 03:53 kernels lrwxrwxrwx1 root root 43 Aug 5 03:56 linux ->/usr/src/kernels/--x86_64<==要使用ll /usr/src/查看,如果软链接一闪一闪的,代表链接失败 [root@LVS1 src]# cd ipvsadm- [root@LVS1 ipvsadm-]# make && make install <==如果编译失败,请按上面步骤一步一步排错。 [root@LVS1 ipvsadm-]# lsmod |grep ip_vs <==查看内核模块是否有ipvsadm [root@LVS1 ipvsadm-]# ipvsadm IP Virtual Server version (size=4096) Prot LocalAddress:PortScheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn
还有一种加载ipvsadm方法,用modprobe ip_vs
[root@LVS1 ipvsadm-]# lsmod |grep ip_vs <==查看内核模块,有代表ipvsadm加载进内核当中,此时LVS安装完毕
ip_vs 122113 0
4、LVS负载均衡配置
1)配置VIP和DIP
IP配置参考步骤2安装准备
[root@LVS1 ~]# ifconfig eth0 netmask #VIP [root@LVS1 ~]# ifconfig eth0:1 netmask #DIP
2)添加真实服务器
[root@LVS1 ~]# ipvsadm –C <==手工清空原来表内容 [root@LVS1 ~]# ipvsadm --set 30 5 60 <== 设置连接超时值 [root@LVS1 ~]# ipvsadm -A -t :80 -s wrr -p 20 <== -A添加地址,-t指定VIP TCP端口,-s指定调度算法–p会话保持时间 [root@LVS1 ~]# ipvsadm -L -n <== 查看表内容,添加了一组VIP地址和端口 IP Virtual Server version (size=4096) Prot LocalAddress:PortScheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP :80 wrr persistent 20 [root@LVS1 ~]# ipvsadm -a -t :80 -r :80 -g -w 1 <== -a指定真实服务器, -t lvs上VIP,-r真实服务器ip及端口,-w权重值,-g先择DR模式(-m为NAT模式) [root@LVS1 ~]# ipvsadm -a -t :80 -r :80 -g -w 1 [root@LVS1 ~]# ipvsadm -L -n <== 查看表内容,添加了两台负载转发的真实服务器 IP Virtual Server version (size=4096) Prot LocalAddress:PortScheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP :80 wrr persistent 20 -> :80 Route 1 0 0 -> :80 Route 1 0 0
如果添加服务器地址写错了,可用如下命令删除,即大A添加改为大D删除,小a添加改为小d删除
ipvsadm –D –:80 –s wrr ipvsadm –d –:80 –r :80
5、真实WEB服务器配置及arp抑制
[root@RS1 ~]# ifconfig eth0 | grep "inet addr" <==此地址用来自己电脑用CRT软件登陆设备,同时也用来发送arp请求客户机MAC(因为是直接返回页面给客户机,而当前网络是同一物理网段,必须同网段才正常)。 inet addr: Bcast: Mask: [root@RS1 ~]# ifconfig eth0:0 netmask <==配置内部IP地址 [root@RS1 ~]# ifconfig lo netmask <==每台真实服务器都需要配置VIP
为什么要绑定VIP呢?因为DR模式原理是LVS调度器修改mac地址为真实服务器地址,报文的目的IP还是VIP没修改,,网卡只会把目的MAC和目的IP都是自己的报文上送CPU,所以真实服务器上必须配置VIP! 为什么使用lo口呢?因为lo口为本地环回口,防止本地局域网IP地址冲突!
[root@RS2 src]# ifconfi eth0| grep "inet addr" <==此地址用来自己电脑用CRT软件登陆设备,同时也用来发送arp请求客户机MAC(因为是直接返回页面给客户机,而当前网络是同一物理网段,必须同网段才正常)。 inet addr: Bcast: Mask: [root@RS2 src]# ifconfig eth0:0 netmask <==配置内部IP地址 [root@RS2 src]# ifconfig lo netmask
此时配置完成,只是测试时出现一个问题,再次登陆CRT中 地址时,登陆到RS1上去了,再刷新,登陆到RS2上去了。怎么解决呢? 通过分析,得出,访问时,会发送arp请求的mac,而这个网络中有3个地址,此时,那谁给的arp回应到客户机,访问的就是谁了。如果RS1的arp回应先到,就访问的RS1了 解决方法: 抑制ARP响应 该抑制只在真实服务器上配置
[root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore [root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce [root@RS1 ~]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore [root@RS1 ~]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce [root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore [root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce [root@RS2 src]# echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore [root@RS2 src]# echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce
1 2都代表什么内容,可在最后附录中查看,也可自己网上搜索
显示的值是RS1,则此时该链接是分配到上
我们使用的是wrr调度算法,该算法中,谁的权重值高,会优先分配给谁 查看配置,发现权重值一样
[root@LVS1 ~]# ipvsadm -L -n IP Virtual Server version (size=4096) Prot LocalAddress:PortScheduler Flags -> RemoteAddress:Port ForwardWeight ActiveConn InActConn TCP :80 wrr persistent 20 -> :80 Route 1 0 0 -> :80 Route 1 0 0
由于有会话保持功能,接下来修改权重值
[root@LVS1 ~]# ipvsadm -d -t :80 -r :80 <==删除原来配置 [root@LVS1 ~]# ipvsadm -a -t :80 -r :80 -g -w 2 <==重新配置权重值为2 [root@LVS1 ~]# ipvsadm -L -n IP Virtual Server version (size=4096) Prot LocalAddress:PortScheduler Flags -> RemoteAddress:Port ForwardWeight ActiveConn InActConn TCP :80 wrr persistent 20 -> :80 Route 2 0 0 -> :80 Route 1 0 0
再次进行测试:
7、附:arp抑制参数
arp响应限制
1)arp_ignore:
定义对目标地址为本地IP的ARP询问不同的应答模式0 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应 4-7 - 保留未使用 8 -不回应所有(本地地址)的arp查询
2)arp_announce:
对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口 0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理. 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.