centos部署lvs+keepalived+apache/tomcat实现高性能高可用负载均衡

前言：
常用的负载均衡软件有lvs、haproxy、nginx，一般lvs和keeplavied一起使用
lvs是实现负载均衡作用的，即将客户端的需求采用特定的负载均衡算法分发到后端的web应用服务器上，keepalived是用来实现高可用的，即保证主lvs宕机后，从lvs可以在很短时间顶上，从而保证了系统或网站的稳定性


注意事项
1、虚拟ip不需物理机，设置ip前先本机ping以下看是否被人占用，用户访问的是虚拟ip
2、lvs使用DR模式，效率最高，物理机必须绑定虚拟ip
3、lvs slave使用ip a是查看不到虚拟ip的，如果可以看到，可能前言：virtual_router_id和master没设置成一样
4、我这里的web服务器是apache，也可以装tomcat，端口号就要改成8080，但是lvs和keepalived配置是一样的
5、keepAlived中的通知邮箱好像必须要写，否则不正确
6、keepAlived中的网卡设备要注意，按照服务器的实际情况填写

7、slave的优先级priority必须小于master的priority，如果无法转发，查看日志/var/log/messages

8、使用时，必要的端口要打开或者关掉防火墙和selinux，否则有时会无法服务，方法：
# service iptables stop
# setenforce 0
# vi /etc/sysconfig/selinux
SELINUX=disabled
然后重启服务器reboot


主机环境如下：
192.168.20.198　 LVS_VIP（VIP：Virtual IP）
192.168.20.103　 LVS_Master　　  
192.168.20.104　 LVS_Backup
192.168.20.193　 WEB1_RealServer
192.168.20.194　 WEB2_RealServer
克隆：我们先安装配置好一层的一个服务器，其他服务器使用克隆方式。
 
一、服务器准备
1、安装虚拟机VirtualBox_5.0.24.8355_Win.exe
2、安装CentOS 6.6
3、装完然后进行上网ip配置

[python]  view plain  copy

1. vi /etc/sysconfig/network-scripts/ifcfg-eth0   
2. DEVICE=eth0  
3. HWADDR=08:00:27:63:8E:2D  
4. TYPE=Ethernet  
5. UUID=23cfb80e-aaaf-4370-b611-2c10cee9df02  
6. ONBOOT=yes  
7. NM_CONTROLLED=no  
8. BOOTPROTO=static  
9. IPADDR=192.168.20.103  
10. NETMASK=255.255.255.0  
11. GATEWAY=192.168.20.1  

二、安装ipvsadm和KeepAlived

[python]  view plain  copy

1. cd /usr/src   
2. yum install gcc make wget openssl-devel popt-devel libnl libnl-devel kernel-devel ipvsadm -y  
3. ln -s /usr/src/kernels/2.6.32-642.3.1.el6.x86_64/ /usr/src/linux    
4. wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz   
5. tar zxvf keepalived-1.2.7.tar.gz    
6. cd keepalived-1.2.7    
7. ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/  
8. make && make install    
9. cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/    
10. cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/    
11. mkdir /etc/keepalived    
12. cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/    
13. cp /usr/local/sbin/keepalived /usr/sbin/  

知识点：ipvsadm理解为IPVS管理工具；LVS（Linux Virtual Server）的核心为IPVS（IP Virtual Server），从Linux内核版本2.6起，IPVS模块已经编译进了Linux内核，
使用yum命令进行安装，系统会选择最适合内核版本的ipvsadm，上面的kernel路径自己去用tab键弄出来

keepalived安装成功会提示:

install -m 644 ../doc/man/man1/genhash.1 /usr/local/share/man/man1
make[1]: Leaving directory `/etc/sysconfig/network-scripts/keepalived-1.2.7/genhash'

三、配置KeepAlived （重点）
1、打开IP Forward 功能（LVS现有三种负载均衡规则都需要打开此功能）
vi /etc/sysctl.conf  
打开后修改里面"net.ipv4.ip_forward = 1"
修改好后保存退出，执行如下命令使设置立即生效
sysctl -p
2、KeepAlivde的配置
vi /etc/keepalived/keepalived.conf
（启动KeepAlived时，它默认会去/etc/keepalived下面找它的配置文件，所以上面命令中我们已经将这个配置文件复制过来了。现在进行修改）

[python]  view plain  copy

1. ! Configuration File for keepalived  
2.   
3. global_defs {  
4.    notification_email {  
5.      test@sina.com  
6.    }  
7.    notification_email_from admin@test.com  
8.    smtp_server 127.0.0.1  
9.    smtp_connect_timeout 30  
10.    router_id LVS_MASTER  
11. }  
12.   
13. vrrp_instance VI_1 {  
14.     state MASTER  
15.     interface eth0  
16.     virtual_router_id 60  
17.     priority 100  
18.     advert_int 1  
19.     authentication {  
20.         auth_type PASS  
21.         auth_pass 1111  
22.     }  
23.     virtual_ipaddress {  
24.         192.168.20.198  
25.     }  
26. }  
27.   
28. virtual_server 192.168.20.198 80 {  
29.     delay_loop 6  
30.     lb_algo rr  
31.     lb_kind DR  
32.     nat_mask 255.255.255.0  
33.     #persistence_timeout 50  
34.     protocol TCP  
35.   
36.     real_server 192.168.20.193 80 {    
37.         weight 1    
38.         TCP_CHECK {    
39.             connect_timeout 3    
40.             nb_get_retry 3    
41.             delay_before_retry 3    
42.         connect_port 80  
43.         }    
44.     }   
45.     real_server 192.168.20.194 80 {    
46.         weight 1    
47.         TCP_CHECK {    
48.             connect_timeout 3    
49.             nb_get_retry 3    
50.             delay_before_retry 3  
51.         connect_port 80   
52.         }    
53.     }   
54. }  

以上就完成了keepAlived的配置，下面进行启动

[python]  view plain  copy

1. chkconfig keepalived on  
2. service keepalived start   
3. #查看进程  
4. [root@localhost ~]# ps aux | grep keepalived  
5. root      1229  0.3  0.2  42168  1016 ?        Ss   16:44   0:08 keepalived -D  
6. root      1231  1.4  0.4  44396  2292 ?        S    16:44   0:31 keepalived -D  
7. root      1232  1.0  0.3  44272  1640 ?        S    16:44   0:22 keepalived -D  
8. root      1292  0.0  0.1 103252   864 pts/0    S+   17:20   0:00 grep keepalived  
9.   
10. <span style="font-size:10px;">#<span style="font-family: Helvetica, Tahoma, Arial, sans-serif; line-height: 25.2px;">查看下虚拟IP是否已经加上（重要） 如果看到虚拟ip :192.168.20.198说明keepalived启动正常  
11. </span></span>[root@localhost ~]# ip a  
12. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN  
13.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
14.     inet 127.0.0.1/8 scope host lo  
15.     inet6 ::1/128 scope host  
16.        valid_lft forever preferred_lft forever  
17. 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000  
18.     link/ether 08:00:27:63:8e:2d brd ff:ff:ff:ff:ff:ff  
19.     inet 192.168.20.103/24 brd 192.168.20.255 scope global eth0  
20.     inet 192.168.20.198/32 scope global eth0  
21.     inet6 fe80::a00:27ff:fe63:8e2d/64 scope link tentative dadfailed  
22.        valid_lft forever preferred_lft forever  

还有3个命令在先列示下，并不用执行显示集群中服务器ip信息：ipvsadm -ln查看日志：tail -f /var/log/messages查看请求转发情况：ipvsadm -lcn | grep 虚拟IP==>>至此，LVS_MASTER服务器已经配置好并启动了，接下来我们配置web服务器

四、web服务器WEB1_RealServer的配置
1、将之前搭建好的虚拟机103克隆一个（virtualbox中，右键虚拟机——复制——输入相关名称等信息 确定就行）
配置虚拟IP启动脚本

[python]  view plain  copy

1. vi /etc/init.d/realserver.sh    
2. #在文件中输入如下脚本：  
3. #!/bin/bash    
4. SNS_VIP=192.168.203.107    
5. . /etc/rc.d/init.d/functions    
6. case "$1" in    
7. start)    
8.  ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP    
9.  /sbin/route add -host $SNS_VIP dev lo:0    
10.  echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore    
11.  echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce    
12.  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore    
13.  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce    
14.  sysctl -p >/dev/null 2>&1    
15.  echo "RealServer Start OK"    
16.  ;;    
17. stop)    
18.  ifconfig lo:0 down    
19.  route del $SNS_VIP >/dev/null 2>&1    
20.  echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore    
21.  echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce    
22.  echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore    
23.  echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce    
24.  echo "RealServer Stoped"    
25.  ;;    
26.  *)    
27.  echo "Usage: $0 {start|stop}"    
28.  exit 1    
29. esac    
30. exit 0  

然后保存退出

2、安装配置apache

[python]  view plain  copy

1. yum -y install httpd  
2. chkconfig httpd on  
3. service httpd start  

为了方便测试
在 /var/www/html/index.html 输入 web1 192.168.20.193
echo "web1 192.168.20.193" > /var/www/html/index.html

3、启动虚拟IP的脚本，运行后会看到网络有一个虚拟IP：lo:0处有个192.168.20.198，就是最开始设置的虚拟ip

[python]  view plain  copy

1. sh /etc/init.d/realserver.sh start      
2. ifconfig    
3. [root@localhost ~]# ifconfig  
4. eth0      Link encap:Ethernet  HWaddr 08:00:27:63:8E:2D  
5.           inet addr:192.168.20.194  Bcast:192.168.20.255  Mask:255.255.255.0  
6.           inet6 addr: fe80::a00:27ff:fe63:8e2d/64 Scope:Link  
7.           UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1  
8.           RX packets:5645428 errors:0 dropped:0 overruns:0 frame:0  
9.           TX packets:2349063 errors:0 dropped:0 overruns:0 carrier:0  
10.           collisions:0 txqueuelen:1000  
11.           RX bytes:379129935 (361.5 MiB)  TX bytes:150050719 (143.0 MiB)  
12.   
13. lo        Link encap:Local Loopback  
14.           inet addr:127.0.0.1  Mask:255.0.0.0  
15.           inet6 addr: ::1/128 Scope:Host  
16.           UP LOOPBACK RUNNING  MTU:65536  Metric:1  
17.           RX packets:93 errors:0 dropped:0 overruns:0 frame:0  
18.           TX packets:93 errors:0 dropped:0 overruns:0 carrier:0  
19.           collisions:0 txqueuelen:0  
20.           RX bytes:6634 (6.4 KiB)  TX bytes:6634 (6.4 KiB)  
21.   
22. lo:0      Link encap:Local Loopback  
23.           inet addr:192.168.20.198  Mask:255.255.255.255  
24.           UP LOOPBACK RUNNING  MTU:65536  Metric:1  

4、去LVS_MASTER服务器的终端查看下ipvsadm，查看已经连接上了WEB1服务器，运行命令

[python]  view plain  copy

1. [root@localhost network-scripts]# ipvsadm -ln  
2. IP Virtual Server version 1.2.1 (size=4096)  
3. Prot LocalAddress:Port Scheduler Flags  
4.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn  
5. TCP  192.168.20.198:80 rr  
6.   -> 192.168.20.193:80            Route   1      0          0  

已经可以看到有服务器加入进来了，此时我们访问网页http://192.168.20.107:8080，出现界面显示web1 192.168.20.193；
OK，至此已经能实现负载均衡了，接下来我们通过克隆实现多个主机的试验

五、配置lvs slave、web2服务器
1、从LVS_MASTER克隆一个LVS_BACKUP服务器，然后修改其中的参数，MASTER与BACKUP配置仅三处不同：global_defs中的router_id、vrrp_instance中的state、priority
（注意keepAlived的配置文件中有一个网卡设备，虚拟机的网卡设备可能是不一样的，有的是eth0，有的是eth1，所以也是要改动的，否则从服务器的服务器很有可能服务不正常）
配置好的如下文：

[python]  view plain  copy

1. ! Configuration File for keepalived  
2.   
3. global_defs {  
4.    notification_email {  
5.      test@sina.com  
6.    }  
7.    notification_email_from admin@test.com  
8.    smtp_server 127.0.0.1  
9.    smtp_connect_timeout 30  
10.    router_id LVS_BACKUP  
11. }  
12.   
13. vrrp_instance VI_1 {  
14.     state BACKUP  
15.     interface eth0  
16.     virtual_router_id 60  
17.     priority 80  
18.     advert_int 1  
19.     authentication {  
20.         auth_type PASS  
21.         auth_pass 1111  
22.     }  
23.     virtual_ipaddress {  
24.         192.168.20.198  
25.     }  
26. }  
27.   
28. virtual_server 192.168.20.198 80 {  
29.     delay_loop 6  
30.     lb_algo rr  
31.     lb_kind DR  
32.     nat_mask 255.255.255.0  
33.     #persistence_timeout 50  
34.     protocol TCP  
35.   
36.     real_server 192.168.20.193 80 {    
37.         weight 1    
38.         TCP_CHECK {    
39.             connect_timeout 3    
40.             nb_get_retry 3    
41.             delay_before_retry 3  
42.             connect_port 80           
43.         }    
44.     }   
45.     real_server 192.168.20.194 80 {    
46.         weight 1    
47.         TCP_CHECK {    
48.             connect_timeout 3    
49.             nb_get_retry 3    
50.             delay_before_retry 3  
51.             connect_port 80  
52.         }    
53.     }   
54. }  

2、从WEB1_RealServer克隆一个WEB2_RealServer，将tomcat的index.html文件改为web2 192.168.20.194。（这里的IP是我测试的，您的可以自定义）
启动realserver.sh脚本。


3、至此我们已经虚拟出2个LVS服务器，一对主从；2个WEB服务器，web1和web2。接下来我们进行测试，看能否满足我们的初始需求


4、测试
浏览器访问虚拟ip 192.168.20.198，多刷新几次会看到从不同物理机返回的信息

lvs_master查看相关日志

[python]  view plain  copy

1. [root@localhost ~]# ps aux | grep keepalived  
2. root      1229  0.9  0.2  42168  1016 ?        Ss   16:44   0:46 keepalived -D  
3. root      1231  3.3  0.4  44396  2300 ?        S    16:44   2:45 keepalived -D  
4. root      1232  2.1  0.3  44272  1640 ?        S    16:44   1:48 keepalived -D  
5. root      1373  0.0  0.1 103252   860 pts/0    S+   18:07   0:00 grep keepalived  
6. [root@localhost ~]# ip a  
7. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN  
8.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00  
9.     inet 127.0.0.1/8 scope host lo  
10.     inet6 ::1/128 scope host  
11.        valid_lft forever preferred_lft forever  
12. 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP ql                                                                                        en 1000  
13.     link/ether 08:00:27:63:8e:2d brd ff:ff:ff:ff:ff:ff  
14.     inet 192.168.20.103/24 brd 192.168.20.255 scope global eth0  
15.     inet 192.168.20.198/32 scope global eth0  
16.     inet6 fe80::a00:27ff:fe63:8e2d/64 scope link tentative dadfailed  
17.        valid_lft forever preferred_lft forever  
18. [root@localhost ~]# ipvsadm -ln  
19. IP Virtual Server version 1.2.1 (size=4096)  
20. Prot LocalAddress:Port Scheduler Flags  
21.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn  
22. TCP  192.168.20.198:80 rr  
23.   -> 192.168.20.193:80            Route   1      2          0  
24.   -> 192.168.20.194:80            Route   1      0          0  
25. [root@localhost ~]# ipvsadm -lcn | grep 192.168.20.198  
26. TCP 07:55  ESTABLISHED 192.168.20.24:56422 192.168.20.198:80  192.168.20.193:80  
27. TCP 08:21  ESTABLISHED 192.168.20.24:56430 192.168.20.198:80  192.168.20.193:80  
28. [root@localhost ~]# tail -f /var/log/messages  
29. Jul 14 18:11:19 localhost Keepalived_vrrp[1232]: bogus VRRP packet received on eth0 !!!  
30. Jul 14 18:11:19 localhost Keepalived_vrrp[1232]: VRRP_Instance(VI_1) Dropping received VRRP packet...  
31. Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: ip address associated with VRID not present in received packet : 192.168.20.198  
32. Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: one or more VIP associated with VRID mismatch actual MASTER advert  
33. Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: bogus VRRP packet received on eth0 !!!  
34. Jul 14 18:11:21 localhost Keepalived_vrrp[1232]: VRRP_Instance(VI_1) Dropping received VRRP packet...  

具体测试方法：

开启每个服务器的相关服务，关闭防火墙，开始进行测试。
1、测试LVS层
1）首先执行ip a命令，主服务器会存在一个虚拟IP，从服务器不会存在这个虚拟IP。现在浏览网页显示正常。虚拟IP如图所示：
显示集群中服务器ip信息：ipvsadm -ln
查看日志：tail -f /var/log/messages
查看请求转发情况：ipvsadm -lcn | grep 虚拟IP
2）现在停掉LVS_MASTER的keepAlived服务，看LVS_BACKUP是否可以自动加上虚拟IP地址，并且开始转发请求。
（注意keepAlived的配置文件中有一个网卡设备，虚拟机的网卡设备可能是不一样的，有的是eth0，有的是eth1，所以也是要改动的，否则从服务器的服务器很有可能服务不正常）
之后你通过命令：ip a去分别查看LVS_MASTER和LVS_BACKUP机器，结果正如预料一样，BACKUP立即接管了MASTER的工作。
切换很快，访问网页：http://192.168.20.198也能正常显示。
3）恢复主服务器的keepAlived服务后，主服务器立刻接替了从服务器的工作，就不做截图了。和第1）个正常效果是一样的。
4）测试WEB服务器，看能否正常提供服务。先断掉WEB1，看下效果。
ipvsadm中的服务器列表，已经去掉了WEB1服务器，访问网页也只能访问到WEB2服务器了。
5）开启WEB1，关掉WEB2。测试正常

文章来源：点击打开链接