Heartbeat 项目是 Linux-HA 工程的一个组成部分,它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件,在 Heartbeat 项目里,由 heartbeat 模块实现了这两个功能。

 

HeartbeatLinux-HA工程的一个组件,自1999年开始到现在,发布了众多版本,是目前开源Linux-HA项目最成功的一个例子,在行业内得到了广泛的应用.

随着Linux在关键行业应用的逐渐增多,它必将提供一些原来由IBMSUN这样的大型商业公司所提供的服务,这些商业公司所提供的服务都有一个关键特性,就是高可用集群。

 

heartbeat Linux-HA)的工作原理:heartbeat最核心的包括两个部分,心跳监测部分和资源接管部分,心跳监测可以通过网络链路和串口进行,而且支持冗余链路,它们之间相互发送报文来告诉对方自己当前的状态,如果在指定的时间内未收到对方发送的报文,那么就认为对方失效,这时需启动资源接管模块来接管运行在对方主机上的资源或者服务。

 

高可用集群是指一组通过硬件和软件连接起来的独立计算机,它们在用户面前表现为一个单一系统,在这样的一组计算机系统内部的一个或者多个节点停止工作,服务会从故障节点切换到正常工作的节点上运行,不会引起服务中断。从这个定义可以看出,集群必须检测节点和服务何时失效,何时恢复为可用。这个任务通常由一组被称为“心跳”的代码完成。在Linux-HA里这个功能由一个叫做heartbeat的程序完成。

 

 

下面使用hearbeat做高可用集群HAnginx服务作为高可用集群HA的服务对象,即主服务器的nginx宕机或者无法提供服务,就切换到从服务上对外提供服务。

 

 

系统环境:


Master(主服务器):
hostname:masternginx、eth0:192.168.171.50  、eth1:192.168.17.50
 
Slave(从服务器):
hostname:slavenginx、eth0:192.168.171.51、eth1:192.168.17.51
 
流动的IP(Virtual IP):192.168.171.100(即对外提供服务的IP)


 

nginx在系统安装的时候安装或者后期自行安装。

 

1)、安装前的准备工作:

1)分别设置主从服务器的hostname

  主服务器:vim/etc/sysconfig/network 修改:HOSTNAME=masternginx
  从服务器:vim/etc/sysconfig/network 修改:HOSTNAME=slavenginx

 

2)、分别在主从服务器上关闭SELinux

sed -i ‘s/SELINUXE=enforcing/SELINUX=disabled/’ /etc/selinux/config

 

3)、分别在主从的服务器上配置/etc/hosts对应的ip和主机名:


192.168.17.51   slavenginx
192.168.17.50   masternginx


2)、分别在主服务器和从服务器上安装heartbeat软件,同时需要安装libnet

yum install libnet heartbeat

  

 

×××:

libnethttp://libnet.sourceforge.net/  

heartbeathttp://www.linux-ha.org/wiki/Downloads

 

3)、修改heartbeat的配置

1)首先在主服务器上修改配置,主要是以下三个文件:

heartbeat的安装样例目录下/usr/share/doc/beartbeat-*

 authkeys:用于验证通信的,看对方是否还存活
 haresources:用于配置流动IP的服务信息和需要做HA的服务
 ha.cf:heartbeat的配置文件

2)在主服务器上,从heartbeat的安装样例目录下/usr/share/doc/beartbeat拷贝三个文件到 /etc/ha.d目录下

cd /usr/share/doc/heartbeat-3.0.4/ && cp authkeys ha.cf haresources /etc/ha.d/

 

3)修改配置文件

 

主服务上修改:

 

 vim/etc/ha.d/authkeys            #编辑验证通信方式

        


auth3                    #默认都是有 # 号注释,用哪一张认证方式
#1 crc
#2 sha1 HI!
3 md5 Hello!                            #去掉#号,


  保存退出,修改权限:

chmod 600 /etc/ha.d/authkeys

 

用于配置流动IP的服务信息和需要做HA的服务,默认是全部注释 

vim /etc/ha.d/haresources 

masternginx 192.168.171.100/24/eth0:0 nginx

           

  #heartbeat主配置文件

 vim /etc/ha.d/ha.cf                        

debugfile /var/log/ha-debug           #排查故障的日志
logfile /var/log/ha-log          #日志的存放位置
logfacility     local0        #日志的级别
keepalive 2               #2秒的周期探测一次
deadtime 30             #.30秒没有回应,就认为死亡了
warntime 10          #如果超过10秒没有回应会发生警告
initdead 60         #.重启的预留时间
udpport 694              #心跳线通信端口
ucast eth1 192.168.17.51        #..心跳线接口和对方IP
auto_failback on          #.主切换到从,或者主恢复是,会自动切换
node   masternginx      #.主服务器的主机名
node   slavenginx       #.从服务器的主机名
ping 192.168.17.1          #用于仲裁的服务器IP
respawn hacluster/usr/lib64/heartbeat/ipfail    #以hacluster运行脚本,检查网络的连通性。


把刚刚修改的三个配置文件复制到从服务器上的同一目录。做一下修改:

cd /etc/ha.d/ && scp authkeys haresources ha.cf slavenginx:/etc/ha.d/

 

 

从服务器上修改:

authkeysharesources的配置内容不需要更改,只需要修改ha.cf配置文件

 

 vim /etc/ha.d/ha.cf                 

debugfile /var/log/ha-debug            #排查故障的日志
logfile /var/log/ha-log            #日志的存放位置
logfacility     local0        #日志的级别
keepalive 2                #2秒的周期探测一次
deadtime 30              #.30秒没有回应,就认为死亡了
warntime 10               #如果超过10秒没有回应会发生警告
initdead 60            #.重启的预留时间
udpport 694            #心跳线通信端口
ucast eth1 192.168.17.50      #..心跳线接口和对方IP
auto_failback on          #.主切换到从,或者主恢复是,会自动切换
node   masternginx       #.主服务器的主机名
node   slavenginx      #.从服务器的主机名
ping 192.168.17.1           #用于仲裁的服务器IP
respawn hacluster/usr/lib64/heartbeat/ipfail   #以hacluster运行脚本,检查网络的连通性。


里面的内容基本都不需要更改,只是要修改心跳的IIP地址修改为对方的IP

ucast eth1 192.168.171.50

 

 

测试:

 

如果开启了防火墙需要对udp 694端口放行。

-A INPUT -m state --state NEW -m udp -p udp--dport 694 -j ACCEPT

 

 

1)、启动heartbeat服务,但是必须要先在主服务器上开启了,然后才能在从服务器上开启。

service heartbeat start

 

2)、检查测试:

ifconfig 查看是否有eth0:0

ps aux |grep nginx  看是否有nginx进程

 

3)、模拟故障测试

为了测试方便,我们在主服务器和从服务器的nginx服务的默认网站下建立一个测试网页:

 

主服务器的内容:

echo “1111111111111master server” >/usr/share/nginx/html/index.html

 

从服务器的内容:

echo “222222222222 slave server” >/usr/share/nginx/html/index.html

 

 

模拟故障

测试1:在主服务器上禁止ping

iptables -I INPUT -p icmp -j DROP          #拒绝icmp包,模拟故障

 

iptables -D INPUT -p icmp -j DROP         #解除故障

 

测试是否主服务器上发生故障,从服务器是否接管服务;主服务器恢复工作了,从服务器是否释放接管权。

 

测试2:主服务器直接停止heartbeat服务,模拟heartbeat发生故障

service heartbeat stop            

service heartbeat start

 

测试3:在主从上都模拟心跳线线段了

ifdown eth1