转载 Michael's blog @ http://sjsky.iteye.com
keepalived是一个类似于layer3, 4, 5 交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。
官网地址：http://www.keepalived.org/
截止目前最新版本1.2.2 附件提供下载：keepalived-1.2.2.tar.gz
keepalived 中文权威指南：KEEPALIVED权威指南_中文_.pdf
本文目录：
- [一]、实验环境介绍
- [二]、服务器层的双机热备（比如服务器宕机、keepalived宕、网络不通）
- [三]、应用层（web）的双机热备（比如web应用端口不通、 nginx进程被意外kill ）
[一]、实验环境介绍
1.1、软件信息：
- S-A 192.168.8.183 centos5 keepalived nginx
- S-B 192.168.8.150 centos5 keepalived nginx
- VirtualIP (虚拟IP)：192.168.8.191
1.2、keepalived 标准的安装步骤：
- # tar -zxvf keepalived-1.2.2.tar.gz
- # cd keepalived-1.2.2
- # ./configure
- # make
- # make install
- # mkdir /etc/keepalived/
- # cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
1.3、nginx的安装和keepalived类似
不熟悉的可参考：nginx安装及负载均衡配置 （http://sjsky.iteye.com/blog/1156195）
修改nginx.conf 中监听端口80->8088:
- listen 8088;
- server_name localhost;
修改/usr/local/nginx/html/index.html的内容：
192.168.8.183
- <html>
- <head>
- <title>Welcome to nginx!</title>
- </head>
- <body bgcolor="white" text="black">
- <center><h1>Welcome to nginx! 192.168.8.183</h1></center>
- </body>
- </html>
192.168.8.150:
- <html>
- <head>
- <title>Welcome to nginx!</title>
- </head>
- <body bgcolor="white" text="black">
- <center><h1>Welcome to nginx! 192.168.8.150</h1></center>
- </body>
- </html>
两台server（S-A,S-B）都需要安装这两款软件。
[二]、服务器层的双机热备（比如服务器宕机、keepalived宕了）
2.1、测试要求：
主机宕机、keepalived宕了、网络不通时，备机能自动接管，不影响VIP：192.168.8.191的访问
2.2、Master（S-A 192.168.8.181）配置文件/etc/keepalived/keepalived.conf：
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- #admin@michael-demo.com
- }
- #notification_email_from admin@michael-demo.com
- #smtp_server 127.0.0.1
- #smtp_connect_timeout 30
- router_id LVS_DEVEL
- }
- vrrp_instance VI_1 {
- state MASTER
- interface eth0
- virtual_router_id 51
- priority 100
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.8.191
- }
- }
2.3、Backup（S-B 192.168.8.150）配置信息/etc/keepalived/keepalived.conf：
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- #admin@michael-demo.com
- }
- #notification_email_from admin@michael-demo.com
- #smtp_server 127.0.0.1
- #smtp_connect_timeout 30
- router_id LVS_DEVEL
- }
- vrrp_instance VI_1 {
- state BACKUP
- interface eth0
- virtual_router_id 51
- priority 99
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.8.191
- }
- }
Tips：
- state 参数值：主的是MASTER、备用的是BACKUP
- priority 参数值： MASTER > BACKUP
- virtual_router_id： 参数值要一样
2.4、测试：
两台测试机S-A、S-B均启动keepalived和nginx
2.4.1、验证nginx启动正常：
访问 master : http://192.168.8.183:8088/
访问 backup: http://192.168.8.150:8088/
2.4.2、查看keepalived的日志信息如下：
master ：192.168.8.183
backup：192.168.8.150
2.4.3、浏览器打开虚拟ip访问：http://192.168.8.191:8088/
2.4.4、kill 192.168.8.181（master) 的keepalived进程，日志信息如下：
master ：192.168.8.183
backup：192.168.8.150
2.4.5、浏览器打开虚拟ip访问：http://192.168.8.191:8088/
2.4.6、再次启动192.168.8.181的keepalived进程，192.168.8.181会自动接管成为master，192.168.8.150自动转为backup，从测试结果看，备机能成功接管，已经实现了热备。
Tips： 如果我们停掉master上的nginx进程，你会发现此时应用访问就失败了，很显然这不是我们希望看到的结果，那如何实现web应用的热备呢，在下一节中我们将详细讲述。
[三]、应用层（web）的双机热备（比如nginx进程被意外kill、web端口不通）
3.1.主要是利用keepalived的track_script检测脚本的原理实现的。
3.2.配置文件的修改
3.2.1、Master（S-A 192.168.8.181）配置文件/etc/keepalived/keepalived.conf：
- /etc/keepalived/keepalived.conf
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- #admin@michael-demo.com
- }
- #notification_email_from admin@michael-demo.com
- #smtp_server 127.0.0.1
- #smtp_connect_timeout 30
- router_id LVS_DEVEL
- }
- vrrp_script chk_http_port {
- script "</dev/tcp/127.0.0.1/8088"
- interval 1
- weight -2
- }
- vrrp_instance VI_1 {
- state MASTER
- interface eth0
- virtual_router_id 51
- priority 100
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.8.191
- }
- track_script {
- chk_http_port
- }
- }
3.2.2、Backup（S-B 192.168.8.150）配置文件/etc/keepalived/keepalived.conf：
- /etc/keepalived/keepalived.conf
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- #admin@michael-demo.com
- }
- #notification_email_from admin@michael-demo.com
- #smtp_server 127.0.0.1
- #smtp_connect_timeout 30
- router_id LVS_DEVEL
- }
- vrrp_script chk_http_port {
- script "</dev/tcp/127.0.0.1/8088"
- interval 1
- weight -2
- }
- vrrp_instance VI_1 {
- state MASTER
- interface eth0
- virtual_router_id 51
- priority 99
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.8.191
- }
- track_script {
- chk_http_port
- }
- }
3.2.3、注意点（非常重要）
1）、为什么主备的参数state都是MASTER，对的你没有看错确实要都设置成一样的，不然并不能实现我们想要的VIP漂浮的效果，我测试很久才发现的.state都设置成MASTER后，会根据priority的值大小竞争来决定谁是真正的MASTER，脚本检测也是在失败的时候会把权重减去相应的值，比如原来master（181）的priority=100，如果脚本检测到端口8088无法连接，就会priority-2=98，< S-B（150）的priority（99），此时 S-B（150） 将竞争成为master，这样就实现了web应用的热备。
2）、配置文件格式一定要注意，比如：track_script {，在“track_script”和“{”之间一定要加空格 ，本来测试时少了个空格，一直无法运行检测脚本，调试了很久，非常郁闷
3.3、测试过程和上面的过程基本一致。
本文连接：http://sjsky.iteye.com/blog/1156403
本文主要介绍的是keepalived配合haproxy实现高可用时的配置，如果有涉及到LVS，配置就不止这么简单了，会涉及到virtual server的配置。
Keepalived介绍
Keepalived是一个基于VRRP协议来实现的WEB 服务高可用方案，可以利用其来避免单点故障。一个服务至少会有2台服务器运行Keepalived，一台为MASTER，一台为BACKUP，对外表现为一个虚拟IP，MASTER会发送特定的消息给BACKUP，当BACKUP收不到这个消息的时候, BACKUP就会接管虚拟IP，继续提供服务，从而保证了高可用性。
VRRP协议简介
在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：
在主机上使用动态路由协议(RIP、OSPF等)
在主机上配置静态路由
配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点。
VRRP的目的就是为了解决静态路由单点故障问题。
VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。
工作机制
在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如 拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址 224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对他们来 说，这种主从的切换是透明的。
在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP广告包(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到广告包)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。
由于安全性考虑，VRRP包使用了加密协议进行加密。
安装步骤
下载安装包
- mkdir -p /root/softwares/
- cd /root/softwares/
- wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz
安装依赖包
- yum install openssl openssl-devel popt -y
在所有节点安装keepalived
- ./configure --prefix=/usr/local/keepalived
- make
- make install
- cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
- cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
- cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
- mkdir -p /etc/keepalived
- cd /etc/keepalived/
- vi keepalived.conf
主节点的keepalived配置文件添加如下内容：
- global_defs {
- notification_email {
- 12346789@xx.com
- }
- notification_email_from admin@haproxy01.com
- smtp_server xxx.xxx.xxx.xxx
- smtp_connect_timeout 30
- router_id haproxy01
- }
- vrrp_instance VI_1 {
- state MASTER #标示状态为MASTER
- interface eth0
- virtual_router_id 51
- priority 100 #MASTER权重要高于BACKUP
- advert_int 1
- authentication {
- auth_type PASS #主从服务器验证方式
- auth_pass aaaaaa
- }
- virtual_ipaddress {
- 192.168.1.201
- }
- }
备份节点keepalived配置文件添加如下内容：
- global_defs {
- notification_email {
- 12346789@xx.com
- }
- notification_email_from admin@haproxy01.com
- smtp_server xxx.xxx.xxx.xxx
- smtp_connect_timeout 30
- router_id haproxy01
- }
- vrrp_instance VI_1 {
- state BACKUP #标示状态为BACKUP
- interface eth0
- virtual_router_id 51
- priority 100
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass aaaaaa
- }
- virtual_ipaddress {
- 192.168.1.201
- }
- }
注：global_defs中定义的是报警选项，这个可以去掉
启动
在主备两个节点都启动进程。
- /etc/init.d/keepalived start
测试
另找一台机器，ping两个keepalived的虚拟地址192.168.1.201。然后终止MASTER节点的keepalived进程，出现断连几次又重新可以ping通的情况说明keepalived是起作用的。
- ping 192.168.1.201
- PING 192.168.1.201 (192.168.1.201): 56 data bytes
- 64 bytes from 192.168.1.201: icmp_seq=71 ttl=64 time=0.133 ms
- 64 bytes from 192.168.1.201: icmp_seq=72 ttl=64 time=0.201 ms
- 64 bytes from 192.168.1.201: icmp_seq=73 ttl=64 time=0.236 ms
- 64 bytes from 192.168.1.201: icmp_seq=74 ttl=64 time=0.154 ms
- Request timeout for icmp_seq 75
- Request timeout for icmp_seq 76
- Request timeout for icmp_seq 77
- Request timeout for icmp_seq 78
- 64 bytes from 192.168.1.201: icmp_seq=79 ttl=64 time=0.236 ms
- 64 bytes from 192.168.1.201: icmp_seq=80 ttl=64 time=0.154 ms
报错解决
问题一：[ALERT] 080/100308 (6028) : Starting proxy test-webservers: cannot bind socket
错误原因：端口被占用，需要修改一下端口，在这里提示一下，最好用比较纯洁的系统来运行keepalived+haproxy，尽量避免端口占用的问题。因为当架构中有多个haproxy节点的时候，修改起来比较麻烦。（脚本批量修改的人除外，不过写脚本也是时间呀…）
问题二：切换keepalived节点后，需要清楚浏览器cookie才能正常访问。
原因：haproxy配置中，设置了cookie相关的选项，如下：
cookie SERVERID insert indirect nocache
#capture cookie ASPSESSION len 32
但是对于捕获cookie信息的定义给注释掉了。解决办法有两个，一个是把cookie SERVERID insert indirect nocache这一行也注释掉；另一个方法是去掉#capture cookie ASPSESSION len 32的注释。
问题三：网络不可达。
原因：keepalived如果在设置IP时不设置掩码，会使用默认掩码。此例中192段私网地址的默认掩码是255.255.255.0（24），而公网地址的默认掩码是255.255.255.255（32）。公网的默认掩码可能与要使用的公网地址掩码不匹配。导致网络不畅。
解决办法：在配置地址时，配置上子网掩码，如下（标红部分）：
- virtual_ipaddress {
- 192.168.1.201/24
- }
133
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
