环境需求：rhel6以上，iptablss与selinx disabled，

新虚拟机（未进行其他集群操作的）server1与server2为两节点

Instructor为服务机（M端）。


 

集群管理之Heartbeat


Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件，在 Heartbeat 项目里，由 heartbeat 模块实现了这两个功能。heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路和串口进行，而且支持冗 余链路，它们之间相互发送报文来告诉对方自己当前的状态，如果在指定的时间内未收到对方发送的报文，那么就认为对方失效，这时需启动资源接管模块来接管运 行在对方主机上的资源或者服务。

 

两节点上安装hearbeat-3.0.4-2.e16.x86_64 heartbeat-llibs-3.0.4-2.e16.x86_64 heartbeat-devel-3.0.4-e16.x86_64 ldirectord-3.9.5-3.1.x86_64、mysql-server。

在srever1上，

#vim /etc/ha.d/ha.cf

 logfile /var/log/ha-log #日志文件 

keepalive 2             #心跳时间 

deadtime 30             #无响应时间 

warntime 10       #警告时间

 initdead 60             #守护进程启动后主机启动资源需要等待的时间 

udpport 694             #端口

cast   eth0             #使用物理网卡eth0传输心跳消息

auto_failback on        #设置当主机修复后服务是否回返到主机

node    server2.example.com node    server3.example.com #设置节点,主机在上副机在下

ping 172.25.254.55      #判断主副机的网络状况

respawn hacluster /usr/lib64/heartbeat/ipfailapiauth ipfail gid=haclient uid=hacluster #指定用户和用户组

添加2个node，后面接节点的hostname

#vim /etc/ha.d/haresource

在最后添加server1.example.com IPaddr::172.25.0.100/24/eth0 Filesystem::/dev/sda1::/var/lib/mysql::ext4 mysqld 

Server1.example.com: 主节点

IPaddr::172.25.254.100/24/eth0: 虚拟IP

Filesystem::/dev/sda1::/var/lib/mysql::ext4 : 文件系统

Mysql: 服务

#vim authkeys ,取消auth 1 、1 crc的注释  //crc为明文（不加密）。

#chmod 600 authkeys. 

将server的远端存储分区并格式化为ext4，分区由heartbeat同步到server2中。

将这三个文件复制给server2。两节点都启动heartbeat服务。

#mount /dev/sda1/ /mnt

#cp -rp /var/lib/mysql/* /mnt

#chown mysql.mysql /mnt

#umount /mnt

若server1的mysqld或者heartbeat停止，则server2mysql启动，vip加在server2上，这就是集群的高可用性。



集群管理之DRBD


DRBD(Distributed Replicated Block Device分布式复制块设备),DRBD 号称是 “网络 RAID”,开源软件,由

LINBIT 公司开发。DRBD实际上是一种块设备的实现,主要被用于Linux平台下的高可用(HA)方案之

中。他有内核模块和相关程序而组成,通过网络通信来同步镜像整个设备,有点类似于一个网络

RAID-1的功能。也就是说当你将数据写入本地的DRBD设备上的文件系统时,数据会同时被发送到网络

中的另外一台主机之上,并以完全相同的形式记录在文件系统中。本地节点与远程节点的数据可以保证

实时的同步,并保证IO的一致性。所以当本地节点的主机出现故障时,远程节点的主机上还会保留有一

份完全相同的数据,可以继续使用,以达到高可用的目的

 

安装

首先关闭两节点的iscsi，并本地添加4g的存储。

在节点1上，解压drbd-8.4.3

#./configure --enable-spec  --with-km

#yum install flex rpm-build  kernel-devel//解决依赖性

#cp drbd-8.4.3.tar.gz rpmbuild/SOURCES

#rpmbuild -bb drbd.spec drbd-km.spec //创建rpm包

#rpm -ivh /root/rpmbuild/RPMS/x86_64/*

复制这些rpm到server2上安装。

 

在server1上，/etc/drbd.d/drbd.conf, 可以看到drbd包含drbd.d/下所有以.res结尾的文件。因此可以在/etc/drbd.d下创建example.res文件，对当前集群进行配置

resource sqldata {    //源为sqldata

meta-disk internal;    //磁盘为内部的

device /dev/drbd1;     //设备为/dev/drbd1

syncer {

verify-alg sha1;         //同步方式

}

on server1.example.com {     //节点1的设置

disk /dev/vdb;

address 172.25.0.1:7789;

}

on server2.example.com {    //节点2的设置

disk /dev/vdb;

address 172.25.0.2:7789;

}

}

将该文件复制到节点2.两节点都对drbd进行初始化：

#drbdadm create-md sqldata 

 

两节点都启动drbd服务。

在节点1上

#cat /proc/drbd 可以看到drbd块信息。显示 secondary/secondary表示server1（第一个secondary）为从设备，server2（第二个secondary）为从设备。

#drbdadm primary sqldata --force  //强制将server1设为主设备，集群服务只会在主设备上运行

在节点2上，

#cat /proc/drbd  显示secondary/primary表示本机为从设备，server1为主设备。

#mkfs.ext4 /dev/drbd1

#mount /dev/drbd1 /mnt

#cp -rp /var/lib/mysql/* /mnt   

#chown mysql.mysql /mnt

#umount /mnt 

数据会同步写入到节点2的/dev/drbd1上。

#drbdadm secondary sqldata  // 将节点1设为从设备

 

在节点2上

#mount /dev/drbd1 /mnt

#drbdadm primary sqldata  //将本节点设为主设备

#ls /mnt  会看到mysql文件

 

注意:两台主机上的/dev/drbd1 不能同时挂载,只有状态为 primary 时,才能被挂载使

用,而此时另一方的状态为 secondary。

 

Heartbeat集成drbd

 

在节点1的/etc/ha.d/haresource,修改最后一行为

server1.example.com IPaddr::172.25.0.100/24/eth0 drbddisk::sqldata Filesystem::/dev/drbd1::/var/lib/mysql::ext4 mysqld

并将该文件复制到节点2中。

两节点都启动heartbeat

节点1上，由于drbd为primary，可以看到drbd1以被挂载到/var/lib/mysql上，eth0添加了vip。这些都是heartbeat自动完成的

节点2上，则没挂载没加vip。

 

附注：接着上篇博客利用远端存储通过HA使用mysql服务

M端启用luci、tgtd  

两节点启用ricci、iscsi并安装mysql-server，停用mysql服务

 

在web上禁用apache服务组并不勾选独立运行。

添加回错域（failover domain）name为sqldb，其他与webfail相同。

添加resource->ip address 设置虚拟ip为172.25.0.101；

                  -> script     name=mysqld   path为/etc/init.d/mysqld

 Server1上

卸载之前的添加的逻辑卷、卷组、物理卷

#service clvmd restart //重启clvmd服务

#cat /proc/partitions  //查看块设备信息

重新远端存储重新分为2个区

在server2 上， 运行partprobe然后查看/proc/partitions能看到sda1和sda2两个分区。。

挂载sda1到mnt。 在mnt下创建index.html,内容为www.redhat.org.然后卸载，数据写入sda1中。再挂载sda2，将/var/lib/mysql下的所有复制到mnt。

#chown mysql.mysql /mnt

卸载mnt，mysql写入sda2中。

 

在web上

修改resource中的webdata的device为/dev/sda1

添加resource，name=dbdata  文件系统名为ext4，挂载点为/var/www/html,设备为/dev/sda2,勾选force unmount，use quick status checks ,reboot host node if unmount fails.

添加服务组。Name为mysql，勾选自动启动，回错域为sqldb，然后点添加resource to service

依次添加新的vip等服务，虚拟ip（172.25.0.101）就和mysql绑定。启用apache服务组。

这时若server2apache服务被破坏，如network disabled，集群会自动从server1上启动apache。

哪个节点上开启了mysql，那么它会ip会增加vip。