CentOS 6.5 LVS+KeepAlived(DR模式)搭建高可用负载均衡集群

转载来自:http://blog.csdn.net/tengyuantuohai/article/details/19639671


为了实现服务的高可用和可扩展,在网上找了几天的资料,现在终于配置完毕,现将心得公布处理,希望对和我一样刚入门的菜鸟能有一些帮助。

一、理论知识(原理)

我们不仅要知其然,而且要知其所以然,所以先给大家准备一些理论知识课,这样对以后的应用将会事半功倍。

1、什么是LVS?

请阅读作者章文嵩博士自己的研究报告,共计4部分,看完后对集群和LVS就有了初步的了解,不懂时可以翻翻。

LVS项目介绍http://www.linuxvirtualserver.org/zh/lvs1.html

LVS集群的体系结构http://www.linuxvirtualserver.org/zh/lvs2.html

LVS集群中的IP负载均衡技术http://www.linuxvirtualserver.org/zh/lvs3.html

LVS集群的负载调度 http://www.linuxvirtualserver.org/zh/lvs4.html

2、什么是KeepAlived?

Keepalived原理与实战精讲 http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/

3、什么是CentOS?

百度百科给出的 http://baike.baidu.com/link?url=X3SzN3bJWjW_PkWC6GB2MTs5KhVmxBAxnCRjs9W7-IARDiHloZ_oRWj17BEz0kY3

4、小结

相信读了以上的理论知识后,已经对集群的实现原理有了大概的了解,那接下来我们就开始动手吧。

二、服务器的安装

我们会用到4个服务器,横向分2层:

第1层是LVS服务器(1个主,1个从;从可以多个)用来转发请求,需要安装ipvsadm和keepAlived;第2层是提供具体服务的服务器(表中用了2个;当然也可以是多个,现实的应用会上百台。),安装的是具体的服务,这里我们安装的是TOMCAT。

主机环境如下:

192.168.10.100  LVS_VIP(VIP:Virtual IP)
192.168.10.140  LVS_Master    
192.168.10.141  LVS_Backup
192.168.10.142  WEB1_RealServer
192.168.10.143  WEB2_RealServer

克隆:我们先安装配置好一层的一个服务器,其他服务器使用克隆方式。(我是先配置好LVS_Master,然后使用相同的步骤配置LVS_Backup,最后按照本篇文章修改Backup对应配置文件


3、LVS层安装LVS和KeepAlived

打开LVS_Master服务器;
先安装lvs_master的服务,lvs_backup使用克隆虚拟机 (同上,我是先安装的虚拟机,再操作同样的步骤) 的方式,然后在配置文件修改三个参数即可,下面会讲到。

3)安装IPVSADM

知识点:IPVSADM理解为IPVS管理工具;LVS(Linux Virtual Server)的核心为IPVS(IP Virtual Server),从Linux内核版本2.6起,IPVS模块已经编译进了Linux内核。

使用yum命令进行安装,系统会选择最适合内核版本的ipvsadm

[html]  view plain  copy
  1. yum -y install ipvsadm  

4)防火墙

为了测试方便,我们直接关闭防火墙,在实际使用中开启需要的端口即可(具体配置可参考:http://www.cnblogs.com/rockee/archive/2012/05/17/2506671.html)

[html]  view plain  copy
  1. service iptables stop  

5)KeepAlived 的安装

知识点:KeepAlived是一个路由软件,它主要的目的是让我们通过简单的配置,实现高可用负载均衡,当然负载均衡依赖于Linux虚拟服务器(IPVS)的内核模块,其高可用性使用VRRP协议来实现,KeepAlived不仅会检测负载均衡服务器池中每台机器的健康状况并通知IPVS将非健康的机器从池中移除掉;同时它还能对负载均衡调度器本身实现健康状态检查,当主负载均衡调度器出现问题时,备用负载均衡调度器顶替主进行工作。

逐条执行如下命令,执行的原因暂不解释,实际就是需要这些组件,安装即可。

[html]  view plain  copy
  1. cd /usr/src  
  2. yum -y install openssl-devel  
  3. wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz  
  4. wget http://mirror.centos.org/centos/6/os/x86_64/Packages/popt-static-1.13-7.el6.x86_64.rpm  
  5. yum -y install popt-static-1.13-7.el6.x86_64.rpm  
  6. yum -y install kernel-devel make gcc openssl-devel libnl* popt*  
  7. ln -s /usr/src/kernels/2.6.32-220.13.1.el6.x86_64/ /usr/src/linux  
  8. tar zxvf keepalived-1.2.7.tar.gz  
  9. cd keepalived-1.2.7  
  10. ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/  

[html]  view plain  copy
  1.   

执行完最后一条时,终端应该显示为下图这样,如果不是请不要继续,自己返回来看下有没有哪里执行有误;

如果是上图这样,恭喜你已经成功了一大半,剩下的就简单了!

继续执行

[html]  view plain  copy
  1. make && make install  
  2. cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/  
  3. cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/  
  4. mkdir /etc/keepalived  
  5. cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/  
  6. cp /usr/local/sbin/keepalived /usr/sbin/  

OK,KeepAlived安装完毕,然后进行配置。

6)KeepAlivde的配置

The First:打开IP Forward 功能(LVS现有三种负载均衡规则都需要打开此功能,如果不打开此功能,下面的配置配得再好都无济于事。)

[html]  view plain  copy
  1. yum -y install vim  
  2. vim /etc/sysctl.conf  

打开后修改里面“net.ipv4.ip_forward = 1”,结果如下图:

(修改常用命令:i键表示要插入修改,修改好后摁ESC,然后输入":wq",保存退出,其他命令参考:http://www.cnblogs.com/zhanglong0426/archive/2010/10/07/1845268.html)



修改好后保存退出,执行如下命令使设置立即生效

[html]  view plain  copy
  1. sysctl -p  

第二步:KeepAlivde的配置

配置文件在这个位置: /etc/keepalived/keepalived.conf

启动KeepAlived时,它默认会去/etc/keepalived下面找它的配置文件,所以上面命令中我们已经将这个配置文件复制过来了。现在进行修改:

[html]  view plain  copy
  1. vim  /etc/keepalived/keepalived.conf  

具体的参数详情请参考:http://zhumeng8337797.blog.163.com/blog/static/100768914201191762253640/

下面是我配置好的文件内容

[html]  view plain  copy
  1. ! Configuration File for keepalived  
  2. global_defs {  
  3.     notification_email {   
  4.         test@sina.com   
  5.     }   
  6.     notification_email_from admin@test.com  
  7.     smtp_server 127.0.0.1  
  8.     smtp_connect_timeout 30  
  9.     router_id LVS_MASTER  
  10. }  
  11.   
  12. vrrp_instance VI_1 {  
  13.     state MASTER  
  14.     interface eth1 (用ifconfig查看一下,开头就会出现,网卡不一定是eth1)
  15.     virtual_router_id 60  
  16.     priority 100  (优先级,主备路由器不能一样)
  17.     advert_int 1  
  18.     authentication {  
  19.         auth_type PASS  
  20.         auth_pass 1111  
  21.     }  
  22.     virtual_ipaddress {  
  23.         192.168.10.100  (注意具体的网段,按照自己的虚拟机写,可能是                                     192.168.200.129,这个ip不能真实存在,不能是你机器的ip)
  24.     }  
  25. }  
  26.  
  27. (注:下面的都是lvs 负载均衡的配置)
  28. virtual_server 192.168.10.100 8080 {  
  29.     delay_loop 6  
  30.     lb_algo rr   
  31.     lb_kind DR  
  32.     nat_mask 255.255.255.0  
  33.     persistence_timeout 50  
  34.     protocol TCP  
  35.   
  36.     real_server 192.168.10.142 8080 {  (这个才是真实的ip,但注意这是应用层的                                ip,不是路由层的ip,既不是master和backup的ip)
  37.         weight 1  
  38.         TCP_CHECK {  
  39.             connect_timeout 3  
  40.             nb_get_retry 3  
  41.             delay_before_retry 3  
  42.         }  
  43.     }  
  44.   
  45.     real_server 192.168.10.143 8080 {  (同上)
  46.         weight 1  
  47.         TCP_CHECK {  
  48.             connect_timeout 3  
  49.             nb_get_retry 3  
  50.             delay_before_retry 3  
  51.         }  
  52.     }  
  53. }  


以上就完成了keepAlived的配置,下面进行启动

[html]  view plain  copy
  1. chkconfig keepalived on  
  2. service keepalived start  

查看进程

[html]  view plain  copy
  1. ps aux | grep keepalived  

结果如图

Keepalived正常运行时,共启动3个进程,其中一个进程是父进程,负责监控其子进程;一个是vrrp子进程;另外一个是checkers子进程。

如果此时只看到2个进程,请从安装keepalived的步骤重新执行。



查看下虚拟IP是否已经加上(重要

[html]  view plain  copy
  1. ip a   (ip address 缩写)

如图:


说明虚拟IP已经自动配置上了。


还有3个命令在先列示下,并不用执行

显示集群中服务器ip信息:ipvsadm -ln

查看日志:tail -f /var/log/messages

查看请求转发情况:ipvsadm -lcn | grep 虚拟IP

7)至此,LVS_MASTER服务器已经配置好并启动了,接下来我们配置web服务器。


4、WEB服务器WEB1_RealServer的配置

1)打开虚拟机WEB1_RealServer;

2)配置虚拟IP启动脚本

[html]  view plain  copy
  1. yum -y install vim  
  2. vim /etc/init.d/realserver.sh  

在文件中输入如下脚本:

[html]  view plain  copy
  1. #!/bin/bash  
  2. SNS_VIP=192.168.10.100  (刚才上一步配置的虚拟路由ip)
  3. . /etc/rc.d/init.d/functions  
  4. case "$1" in  
  5. start)  
  6.  ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP  
  7.  /sbin/route add -host $SNS_VIP dev lo:0  
  8.  echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
  9.  echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce  
  10.  echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore  
  11.  echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce  
  12.  sysctl -p >/dev/null 2>&1  
  13.  echo "RealServer Start OK"  
  14.  ;;  
  15. stop)  
  16.  ifconfig lo:0 down  
  17.  route del $SNS_VIP >/dev/null 2>&1  
  18.  echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore  
  19.  echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce  
  20.  echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore  
  21.  echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce  
  22.  echo "RealServer Stoped"  
  23.  ;;  
  24.  *)  
  25.  echo "Usage: $0 {start|stop}"  
  26.  exit 1  
  27. esac  
  28. exit 0  

3)安装配置TOMCAT

我测试用的是TOMCAT6

[html]  view plain  copy
  1. yum -y install tomcat6 tomcat6-webapps tomcat6-admin-webapps  
  2. chkconfig tomcat6 on  
  3. service tomcat6 start  

启动后如图:



关闭防火墙:

[html]  view plain  copy
  1. service iptables stop  

打开浏览器:http://192.168.10.142:8080 (注意,这是应用层的ip,不是路由层的)

会看到TOMCAT的熟悉页面了。



为了测试负载均衡,我们将这个页面改下,以更好的标识这个网页是本服务器的

Tomcat6安装目录位于/usr/share/tomcat6,所以我们要编辑tomcat下的webapps/ROOT/index.html这个文件。

[html]  view plain  copy
  1. cd /usr/share/tomcat6/webapps/ROOT/  
  2. cat /dev/null > index.html  
  3. vim index.html  

将如下文本写入index.html,然后打开浏览器:http://192.168.10.142:8080,已经改变:

[html]  view plain  copy
  1. web1 192.168.10.142  
(注意,左边是修改后的页面展示,只有一句话其他为空)

4)启动虚拟IP的脚本

[html]  view plain  copy
  1. sh /etc/init.d/realserver.sh start  
  2. ifconfig  
运行后会看到网络有了一个虚拟IP,如图:(ifconfig  最后一行)



5)去LVS_MASTER服务器的终端查看下ipvsadm,查看已经连接上了WEB1服务器,运行命令

[html]  view plain  copy
  1. ipvsadm -ln  
结果如图:(->后面跟的是具体应用层的ip)



已经可以看到有服务器加入进来了。

此时我们访问网页http://192.168.10.100(路由层的ip),出现界面显示web1 192.168.10.142;然后使用命令行测试转发情况,如下:

[html]  view plain  copy
  1. ipvsadm -lcn | grep 192.168.10.100  
运行结果:



OK,至此已经能实现负载均衡了,接下来我们通过克隆实现多个主机的试验。


5、服务器克隆

1)从LVS_MASTER克隆一个LVS_BACKUP服务器,然后修改其中的参数,MASTER与BACKUP配置仅三处不同:global_defs中的router_id、vrrp_instance中的state、priority(注:我是全部执行了一次lvs_Master的操作,然后修改对应文件。)

注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常

配置好的如下文:

[html]  view plain  copy
  1. ! Configuration File for keepalived  
  2. global_defs {  
  3.     notification_email {   
  4.         test@sina.com   
  5.     }   
  6.     notification_email_from admin@test.com  
  7.     smtp_server 127.0.0.1  
  8.     smtp_connect_timeout 30  
  9.     router_id LVS_BACKUP  
  10. }  
  11.   
  12. vrrp_instance VI_1 {  
  13.     state BACKUP  
  14.     interface eth2 (这块按实写,可能master和bakup的一样)
  15.     virtual_router_id 60  
  16.     priority 90  
  17.     advert_int 1  
  18.     authentication {  
  19.         auth_type PASS  
  20.         auth_pass 1111  
  21.     }  
  22.     virtual_ipaddress {  
  23.         192.168.10.100  (注意master和backup的虚拟路由ip一样
  24.     }  
  25. }  
  26.   
  27. virtual_server 192.168.10.100 8080 {  
  28.     delay_loop 6  
  29.     lb_algo rr   
  30.     lb_kind DR  
  31.     nat_mask 255.255.255.0  
  32.     persistence_timeout 50  
  33.     protocol TCP  
  34.   
  35.     real_server 192.168.10.142 8080 {   (应用层的ip,master和backup一样)
  36.         weight 1  
  37.         TCP_CHECK {  
  38.             connect_timeout 3  
  39.             nb_get_retry 3  
  40.             delay_before_retry 3  
  41.         }  
  42.     }  
  43.   
  44.     real_server 192.168.10.143 8080 {  (应用层的ip,master和backup一样
  45.         weight 1  
  46.         TCP_CHECK {  
  47.             connect_timeout 3  
  48.             nb_get_retry 3  
  49.             delay_before_retry 3  
  50.         }  
  51.     }  
  52. }  

2)从WEB1_RealServer克隆一个WEB2_RealServer,将tomcat的index.html文件改为web2 192.168.10.143。(这里的IP是我测试的,您的可以自定义)

启动realserver.sh脚本。


3)OK,至此我们已经虚拟出2个LVS服务器,一对主从;2个WEB服务器,web1和web2。接下来我们进行测试,看能否满足我们的初始需求。


三、负载和可用性测试

开启每个服务器的相关服务,关闭防火墙,我们开始进行测试。

1、测试LVS层

1)首先执行ip a命令,主服务器会存在一个虚拟IP,从服务器不会存在这个虚拟IP。现在浏览网页显示正常。虚拟IP如图所示:

显示集群中服务器ip信息:ipvsadm -ln

查看日志:tail -f /var/log/messages

查看请求转发情况:ipvsadm -lcn | grep 虚拟IP


LVS_MASTER中的IP信息



LVS_BACKUP服务器的IP信息



2)现在停掉LVS_MASTER的keepAlived服务,看LVS_BACKUP是否可以自动加上虚拟IP地址,并且开始转发请求。

注意keepAlived的配置文件中有一个网卡设备,虚拟机的网卡设备可能是不一样的,有的是eth0,有的是eth1,所以也是要改动的,否则从服务器的服务器很有可能服务不正常

LVS_MASTER如图:



LVS_BACKUP服务器截图:



切换很快,访问网页:http://192.168.10.100:8080也能正常显示。

3)、恢复主服务器的keepAlived服务后,主服务器立刻接替了从服务器的工作,就不做截图了。和第1)个正常效果是一样的。

4)、测试WEB服务器,看能否正常提供服务。先断掉WEB1,看下效果。

ipvsadm中的服务器列表,已经去掉了WEB1服务器,访问网页也只能访问到WEB2服务器了。



5)开启WEB1,关掉WEB2。测试正常。

四、总结

经过不断的测试,终于完成了这篇稿子,望大家能够指正。还有一点就是很多时候都是配置文件中的一些小毛病造成的,比如:

1、keepAlived中的通知邮箱好像必须要写,否则不正确;

2、keepAlived中的网卡设备要注意,按照服务器的实际情况填写;

3、使用时,必要的端口要打开,或者关掉防火墙。否则有事不提供服务;

4、一些命令行的执行,少一些参数执行就可能会有一些问题。

5、LINUX系统的目录结构也头疼,要不断的熟悉,否则也让你故意弄混了。


评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值