Pacemaker实现资源管理

CRM集群资源管理器  Pacemaker

环境：rhel6.5    node1：192.168.2.228 node1.example.com

 node2: 192.168.2.242 node2.example.com

示例集群会使用以下软件:

1. Fedora 13 as the host operating system

2. Corosync作为通信层和提供关系管理服务

3. Pacemaker来实现资源管理

4. DRBD 作为一个经济的共享存储方案

5. GFS2 作为集群文件系统(主/主模式中)

6. crm shell 来显示并修改配置文件

在某些情况下,可能会需要关闭节点的电源来保证共享数据的完整性或是完全地恢复资源。为此

Pacemaker引入了STONITHd。STONITH是 Shoot-The-Other-Node-In-The-Head(爆其他节点的头)的缩写,并且通常是靠远程电源开关来实现的。

下载包crmsh-1.2.6-0.rc2.2.1.x86_64.rpm   pssh-2.3.1-2.1.x86_64.rpm

安装两个包rpm -ivh crmsh-1.2.6-0.rc2.2.1.x86_64.rpm  

yum localinstall crmsh-1.2.6-0.rc2.2.1.x86_64.rpm

node1上：

ssh-keygen #使两节点之间ssh连接不需密码

ssh-copy-id node2.example.com

scp -r .ssh/ node2.example.com:

可尝试连接node2  ssh node2.example.com  不需验证密码

cd /etc/corosync/

cp corosync.conf.example   corosync.conf

vim corosync.conf

totem {

       version: 2

       secauth: off

       threads: 0

       interface {

               ringnumber: 0  #红色为要修改的

              bindnetaddr: 192.168.2.0  #当前为2网段

               mcastaddr: 226.94.1.1

               mcastport: 5798 #注意多播端口或多播地址不要冲突

               ttl: 1

       }

}

service {  #添加pacemaker服务

       name: pacemaker

       ver: 0

}

scp corosync.conf   node2.example.com:/etc/corosync/

两边开启corosync服务，就会开启pacemaker。  /etc/init.d/corosync start

crm_mon #监控

crm node show #显示节点

crm configure show #显示配置文件

crm_verify -LV #校验

交互式访问：

crm（live）configure# property  stonith-enabled=false #停掉stonith（相当与节点的电源）

commit #每更改一条配置文件都要提交

crm_verify -LV 第一次会出错，关闭stonith，校验就不会有错了

首先要做的是配置一个IP地址,不管集群服务在哪运行,我们要一个固定的地址来提供服务。在这里我选择192.168.2.29作为浮动IP,给它取一个好记的名字 ClusterIP 并且告诉集群 每30秒检查它一次。

crm（live）configure# primitive vip ocf:heartbeat:IPaddr2 params ip=192.168.2.29                         cidr_netmask=24 op monitor interval=30s #添加虚拟IP

commit

crm(live)configure#        property no-quorum-policy=ignore  #忽略达不到法定人数的情况,继续运行资源

commit #提交

两个节点机添加apache服务，编辑配置文件，不用开启httpd，交给集群。

为了监控Apache实例的健康状态,并在它挂掉的时候恢复Apache服务,资源agent会假设 server-status  URL是可用的。查看/etc/httpd/conf/httpd.conf并确保下面的选项没有被禁用或注释掉。

vim /etc/httpd/conf/httpd.conf

<Location /server-status>

    SetHandler server-status

   Order deny,allow

    Deny from all

    Allow from 127.0.0.1

</Location>

更新配置文件

crm(live)configure#    primitive website   ocf:heartbeat:apache   params configfile=/etc/httpd/conf/httpd.conf   op   monitor interval=30s

commit

可是，WebSite这个资源跟IP没有跑在同一个节点上面!

确保资源在同一个节点运行

crm(live)configure#   colocation website-with-vip inf: website vip

crm(live)configure#   commit

设置主节点为node1，指定优先的 Location

crm(live)configure#  location master-node website 10:node1.example.com

crm(live)configure#   commit

/etc/init.d/corosync   restart

node2上监控crm_mon

node1  corosync 停掉，node2会接管，node1恢复后会继续接管。

ip addr show

当前node1接管，node1上可查到虚拟IP

查看添加的资源vip    website

虚拟机fence

fence机 yum install fence-virt fence-virtd fence-virtd-libvirt fence-virtd-multicast -y

fence_virtd -c 设置隔离设备

mkdir /etc/cluster

dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1 #生成fence_xvm.key

scp /etc/cluster/fence_xvm.key node1.example.com:/etc/cluster/

scp /etc/cluster/fence_xvm.key node2.example.com:/etc/cluster/

/etc/init.d/fence_virtd start #启动服务

注意：需保证fence机selinux关掉，iptables不用

节点机：

yum install -y fence-agents.x86_64 fence-virt.x86_64

node1:

crm(live)configure#     property stonith-enabled=true  #开启stonith,相当与总开关

crm(live)configure#     primitive vmfence stonith:fence_xvm params pcmk_host_map=node1.example.com:node1;node2.example.com:node2 op monitor interval=60s

注意格式  主机名：域名（虚拟机名称）

crm(live)configure#   commit

查看资源：

node2监控：

重启corosynv服务   /etc/init.d/corosync   restart

设置开机自启动     chkconfig    corosync   on

当前fence在node2上接管

若挂掉node2，比如ifdown   eth0或echo  c  >  /proc/sysrq-trigger弄崩内核，fence会接管到node1，node2会重新启动修复，重启完毕，fence又切到node2.若node1网卡挂掉，fence会让node1重启。

iscsi存储

给集群管理加存储服务，在一个存储服务器上共享一块硬盘，作为存储（在实验中，就直接在集群管理的那台服务器上共享一块硬盘）

物理机192.168.2.38上：

yum install -y scsi-*

lvcreate  -L 2G -n iscsi vg0 创建/dev/vg0/iscsi逻辑卷

vim /etc/tgt/targets.conf

<target iqn.2014-05.com.example:server.target1>

   backing-store /dev/vg0/iscsi

   initiator-address 192.168.2.228 //两台节点机IP

   initiator-address 192.168.2.242

</target>

开启服务 /etc/init.d/tgtd start  chkconfig tgtd on

tgt-admin   -s 查看设备共享的信息

两个节点机都要做以下操作：

yum install -y iscsi-*

iscsiadm -m discovery -t st -p 192.168.2.38 //查找iscsi设备是否在1主机上

iscsiadm -m node -l //登录到iscsi设备

fdisk -l 可查看多了一块共享硬盘/dev/sdb

这时在节点1主机node1上创建一个主分区1.现在在一个节点上给此设备做 分区和格式化 (做本地文件系统 ext4)

fdisk -cu /dev/sdb

会同步到node2节点机。

格式化为ext4格式文件系统

mkfs.ext4   /dev/sdb1

在节点2主机node2上执行partprobe，更新内核分区表，cat /proc/partitions查看内核分区。

现在iscsi已经工作了,我们可以配置一个Filesystem资源来使用它。 挂载设备/dev/sda1到/var/www/html ，写一个文件index.html。

crm(live)configure# primitive webdata ocf:heartbeat:Filesystem params device=/dev/sda1 directory=/var/www/html fstype=ext4 op monitor interval=30s

crm(live)configure#  group webgrp vip webdata website  #按顺序将vip webdata website 添加到组webgrp

crm(live)configure# commit

node1上

crm(live)node#    standby

crm(live)node#    online

另一个节点机监控

转载于:https://my.oschina.net/19940429/blog/273111