heartbeat（一）heartbeat v2 haresource配置高可用集群

heartbeat（一）

heartbeat v2 haresource配置高可用集群

 

      上一篇《LINUX集群—高可用 高可用集群》认识高可用集群的一些基本概念，下面将会用heartbeat v2及版本中的haresource配置简单的高可用WEB集群。

1、高可用集群架构设计

      通过上一篇我们知道，heartbeat v2提供了完整的高可用方案，既包含了Messaging Layer，又包含CRM，其中CRM有haresource（默认）和crm，本文基于haresource配置，具体架构资源如下：

1、节点主机系统：RHEL 5.8 64bit

2、高可用集群软件：Heartbeat v2 haresource

3、两台节点主机node1，node2：

Node1： IP：192.168.18.241 host name：node1.tjiyu,com；

Node2： IP：192.168.18.242 host name：node2.tjiyu.com;

VIP： 192.168.18.240

4、所提供服务：WEB（httpd）

2、heartbeat配置前所需要的准备

2-1、配置IP、安装WEB服务、关闭防火墙

    按照上面设计配置两台节点主机IP，并能ping测试：

     分别安装httpd服务，为方便测试，这里两节点分别提供不同的提示页面，然后手动访问测试，测试通过后关闭httpd，禁止开机启动：

      关闭selinux和防火墙：

           setenforce 0

           service iptables stop

2-2、配置各节点名称

      集群信息传递需要各节点间能相互识别，而节点间的识别是靠节点名称，同时保证每个节点的名称都得能互相解析为节点主机的IP地址。

      这个最好不用DNS，因为DNS服务也需要提供高可用才行，否则DNS出问题就导致整个集群不能可用。所以直接在各节点中配置一样的/etc/hosts文件，必须保证/etc/hosts中主机名的正反解析结果必须跟"uname -n"执行结果保持一致。

1、配置节点名称如下：

[root@localhost ~]# vim /etc/sysconfig/network

[root@localhost ~]# hostname node2.tjiyu.com

[root@localhost ~]# uname -n

node2.tjiyu.com

2、node1配置/etc/hosts文件，并远程复制到node2上， 然后node1和node2上都要ping 对方名称测试：

[root@node1 ~]# vim /etc/hosts

[root@node1 ~]# scp /etc/hosts node2.tjiyu.com:/etc/

[root@node1 ~]# ping node2.tjiyu.com

2-3、建立各节点间的SSH互信通信

    高可用集群中一个（正常）节点需要对另外（故障）节点进行控制，如停止、启动等，这需要各节点间能使用管理员权限以基于SSH密钥认证通信。

具体配置如下：

1、生成RSA类型的SSH密钥，输出保存到~/.ssh/id_rsa，密码为空：

[root@node1 ~]# ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''

2、把生成的密钥复制到远程主机（node2）的.ssh/id_rsa.pub，后面指定主机用户和地址，然后执行会提示输入该用户对应的密码：

[root@node1 ~]# ssh-copy-id -i .ssh/id_rsa.pubroot@192.168.18.242

3、经过上面两步就可实现SSH免密码登录远程主机（node2）了，测试下：

[root@node1 ~]# ssh 192.168.18.242 'ifconfig'

4、两台主机具体配置过程如下图：

2-4、各节点间的时间同步

       一些集群节点间的事务依赖比较严格的时间同步，如心跳是否超时。可以使用ntpd服务或ntpdate来实现同步网络时间服务器的时间，ntpd服务是渐变同步的，配置稍复杂，但效果好，实际最好用ntpd；ntpdate一次跳变同步，比较简单，这里先用ntpdate的方式来配置.

       先关了ntpd服务，然后再用ntpdate同步中国区NTP服务器上的时间（也可用自己建的NTP服务器）；同时在node1上用crontab任务配置了每10分同步一次的计划，然后远程复制到node2，具体配置如下：

[root@node1 ~]# date

2016年 09月 25日 星期日 06:44:01 CST

[root@node1 ~]# service ntpd stop

关闭 ntpd： [确定]

[root@node1 ~]# chkconfig ntpd off

[root@node1 ~]# ntpdate cn.ntp.org.cn

25 Sep 12:43:11 ntpdate[5474]: step time server 182.92.12.11 offset 21511.691663 sec

[root@node1 ~]# date

2016年 09月 25日 星期日 12:43:21 CST

[root@node1 ~]# crontab -e

crontab: installing new crontab

[root@node1 ~]# crontab -l

*/10 * * * * /sbin/ntpdate cn.ntp.org.cn &> /dev/null

[root@node1 ~]# scp /var/spool/cron/root node2.tjiyu.com:/var/spool/cron/

3、heartbeat v2下载安装

       可以到EPEL下载，网址：https://dl.fedoraproject.org/pub/epel/5/x86_64/，下载包括：Heartbeat（高可用核心）、heartbeat-devel（开发包，不安装）、heartbeat-gui（图形接口）、heartbeat-ldirectord（LVS后端服务健康检查、不安装）、heartbeat-pils（插件和库）、heartbeat-stonith（STONITH设备控制），还要一起下载一个叫libnet的依赖库。

      下载放到两台主机上，分别执行安装即可：# yum --nogpgcheck localinstall heartbeat-2.1.4-11.el5.x86_64.rpm heartbeat-gui-2.1.4-11.el5.x86_64.rpm heartbeat-pils-2.1.4-11.el5.x86_64.rpm heartbeat-stonith-2.1.4-11.el5.x86_64.rpm libnet-1.1.6-7.el5.x86_64.rpm。

4、heartbeat v2相关配置

heartbeat v2默认使用haresource为CRM，涉及到三个配置文件：

1、authkeys：密钥认证文件，600权限；

2、ha.cf：heartbeat服务的配置文件；

3、haresources：资源管理配置文件；

       Heartbeat配置文件目录在/etc/ha.d/，但发现初始没有在该目录下发现这三个文件，所以先到/usr/share/doc/heartbeat-2.1.4/目录把这三个样例文件保留权限地复制到/etc/ha.d/，如下所示：

[root@node1 ~]# cd /etc/ha.d/

[root@node1 ha.d]# cp -p /usr/share/doc/heartbeat-2.1.4/{authkeys,ha.cf,haresources} ./

4-1、配置authkeys密钥认证文件

[root@node1 ha.d]# chmod 600 authkeys

[root@node1 ha.d]# vim authkeys

auth 3                    #认证加密方式，下面'3'

3 md5 56tfd43r7u7ij        #md5，加随机的盐

4-2、ha.cf：配置heartbeat服务

[root@node1 ha.d]# vim ha.cf

#logfile     /var/log/ha-log    #日志文件

logfacility     local0            #日志记录设备

keepalive     2                #多久发一次心跳（秒）

deadtime 15    #脑裂等不正常事件后，多久认为对方故障（秒）

warntime 10        #在日志中发出"late heartbeat"警告之前等待的时间

#initdead 120 #在某些配置下，重启后网络需要一些时间才能正常工作。这个单独的"deadtime"选项可以处理这种情况。它的取值至少应该为通常deadtime的两倍

udpport 694    #使用端口694进行bcast和ucast通信。这是默认的，并且在IANA官方注册的端口号。

bcast eth0 # 集群消息的传递方式，广播，Linux可用

#mcast eth0 225.0.0.1 694 1 0    #组播

#ucast eth0 192.168.1.2    #单播

auto_failback on        #一旦主节点重新恢复联机，将从从节点取回所有资源。若该选项设置为off，主节点便不能重新获得资源。

#stonith baytech /etc/ha.d/conf/stonith.baytech    #定义STONITH设备

node     node1.tjiyu.com     #定义集群所有节点，后面节点名称必须与"uname -n"一致

node node2.tjiyu.com     #定义集群所有节点

ping     192.168.18.101    #ping第三方设备（这里ping网关），上一篇说到的如何判断对方故障

4-3、haresources：配置资源管理

[root@node1 ha.d]# vim haresources

node1.tjiyu.com IPaddr::192.168.18.240/24/eth0 httpd

#每一行表示一个资源（组），这里表示node1.tjiyu.com节点为首先运行的主节点，然后通过~/ha.d/resource.d/目录下的资源代理IPaddr来配置VIP，使其配置在eth0的别名上，最后就是通过/etc/rc.d/init.d/目录下LSB资源代理脚本来管理httpd服务。

4-4、三个文件远程复制到node2

上面在node1上配置好了这三个文件，可以直接远程复制到node2上，内容、权限都一样：

[root@node1 ha.d]# scp -p authkeys haresources ha.cf node2:/etc/ha.d/

5、启动测试

1、在node1上先启动自己的heartbeat服务，再SSH远程启动node2的；

[root@node1 ha.d]# service heartbeat start

[root@node1 ha.d]# ssh node2 'service heartbeat start'

2、查看启动日志，查看VIP配置在node1的eth0的别名上，再通过浏览器访问VIP，返回的是node1测试页面：

[root@node1 ha.d]# tail -f /var/log/messages

[root@node1 ha.d]# ifconfig

3、在node1上运行使/usr/share/heartbeat/hb_standby脚本，使node1成为standy节点，node2成为主节点；查看VIP配置在node2的eth0的别名上，再通过浏览器访问VIP，返回的是node2测试页面：

4、在node2上运行使/usr/share/heartbeat/hb_standby脚本，使node2成为standy节点，node1重新成为主节点；查看VIP配置在node1的eth0的别名上，再通过浏览器访问VIP，返回的是node1测试页面：

 

      以上测试说明heartbeat提供了高可用功能。

 

      经过写这篇文章，对heartbeat v2 haresource配置高可用集群有了一个比较全面的认识，下面还将在本篇基础上进行NFS共享WEB文件的应用配置……

 

【参考资料】

1、Pacemaker：http://clusterlabs.org/wiki/Pacemaker

2、High-availability cluster：https://en.wikipedia.org/wiki/High-availability_cluster#Node_configurations|

3、高可用集群基本概念与heartbeat文本配置接口：http://www.178linux.com/10982

4、heartbeat配置文件ha.cf haresources authkeys详解：https://www.centos.bz/2012/03/heartbeat-ha-cf-haresources-authkeys/