利用pcs +pacemaker +corosync 实现（HA）高可用集群

实验环境搭建

1. 在linux环境中，通过母盘是redhat7.6的操作系统，克隆搭建三台域名分别为node1,node2, node3，主机名分别为server1,server2,server3的三台虚拟机。(名称可以任选)
2. 给三台主机分别配置好各自的ip地址和dns地址解析，实现三台虚拟机可以互相ping通。

对于虚拟机的ip和对应的dns解析可以参考

3. 配置好三台主机的yum源仓库，（可以通过宿主机的httpd服务，搭建网络仓库）

对于做高可用节点的虚拟机server1和server2则需要指明高可用套件所在的位置

4. 关闭掉所有虚拟机的防火墙，并将所有主机的selinux设置为disabled状态

实验目的和实验步骤

实验目的：使用corosync作为集群消息事务层（Massage Layer），pacemaker作为集群资源管理器（Cluster Resource Management），pcs作为CRM的管理接口工具。要求实现httpd的高可用功能。

参考文件: 链接: https://pan.baidu.com/s/1jqC1vD7vurfHBC5pwtfTEQ 提取码: qrpf

实验步骤：

实现简单的httpd高可用

注： 将server1和server2主机作为高可用集群的两个节点，sever3主机作为外部储存设备（iscsi实现）

1. 给server1 和 server2 安装工具
   yum install -y pacemaker pcs psmisc policycoreutils-python

2. 启动server1和server2上的pcsd服务
   systemctl status pcsd

3. 给server1和server2主机的hacluster用户添加密码
   echo westos | passwd --stdin hacluster

4. 在任意一个节点上，利用pcs集群auth认证为hacluster用户
   pcs cluster auth server1 server2
   注： /var/lib/pcsd/tokens 放着认证信息，下次使用的时候就不需要认证

5. 接下来，在同一个节点上使用pc集群设置来生成和同步corosync配置
   pcs cluster setup --name mycluster server1 server2

6. 开启集群上所有节点
   pcs cluster start --all 也可以指定某个节点开启，也可以将他们设置为开机自启pcs cluster enable --all 用pcs cluster status 命令查看该集群上节点的状态信息

7. 可以用corosync-cfgtool -s 查看当前集群通信是否正常（显示的是当前节点的信息）

8. 可以用pcs status corosync查看当前加入该集群的节点信息

9. 用pcs status可以看到会有一个警告，用crm_verify -L -V 可以看到报错，这是因为为了保护数据的安全，默认会开启stonith这个属性，stonith代表的是fence的总开关，在配置fence之前一定要把这个开关打开，我们稍后配置fence， 所以用pcs property set stonith-enabled=false关闭该功能
   
   关闭后的结果：

10. 创建第一个资源vip，添加虚拟ip
    pcs resource create vip ocf:heartbeat:IPaddr2 ip=172.25.3.100 op monitor interval=30s (vip是资源的名称，第一个字段(本例中为ocf)是资源脚本遵循的标准以及查找它的位置，要获取可用资源标准的列表(ocf: heartbeat:IPaddr2的ocf部分)，运行pcs resource standards;第二个字段(在本例中为心跳)是特定于标准的;对于OCF资源，它告诉集群资源脚本在哪个OCF名称空间中,要获取可用OCF资源提供程序的列表，运行pcs resource providers;第三个字段(本例中为IPaddr2)是资源脚本的名称 ,运行pcs resource agents ocf:heartbeat查看。op monitor interval 是隔多少秒的监控, 运行pcs resource describe ocf:heartbeat:IPaddr2查看参数,其中require是必须要有的。)
    此时第一个资源已经创建好了，此时作用在server1节点上，当我们关闭server1节点，则会自动漂移到server2节点上
    

11. 创建第二个资源web，用户实现httpd集群
    注: 需要在两个节点上安装httpd服务
    pcs resource create web systemd:httpd op monitor interval=60s
    

12. 此时两个资源都创建好了，但是此时两个开启的不是在同一个节点，可以通过创建资源组的方式，使他们同时存在在同一个节点中
    pcs resource group add webgroup vip web (webgroup 是组名，后面跟的是资源的名称，书写的顺序，就是优先级从高到低的顺序)
    最后的结果：

13. 此时就可以测试了，给两个主机添加web测试页 echo server1 > /var/www/html/index.html echo server2 > /var/www/html/index.html, 此时资源组webgroup是作用在server1节点上的，所以他的vip， httpd 都是自动打开的不需要我们手动管理
    当我们手动关闭一个节点server1之后，他会将资源自动漂移到另一个节点server2(vip的自动漂移就会体现这一点)，这样就算简单实现了httpd的高可用

实现带有数据储存的httpd高可用

1. 给server3 安装targetd 实现iscsi网络磁盘共享
   参考： iscsi网络磁盘共享
   具体步骤：
   1). 给虚拟机添加一块硬盘

2. 在server3上yum install targetcli -y,并且将刚刚创建的磁盘共享
   创建步骤：
   1). /backstores/block create mydisk /dev/vdb
   2). /iscsi create iqn.2020-10.com.westos:target1
   3). /iscsi/iqn.2020-10.com.westos:target1/tpg1/acls create wwn=iqn.2020-10.com.westos:client
   4). /iscsi/iqn.2020-10.com.westos:target1/tpg1/luns create /backstores/block/mydisk

3. 在server1和server2上都要执行的操作：
   1). yum install iscsi-* -y
   2). iscsiadm -m discovery -t st -p 172.25.3.3
   3). iscsiadm -m node -l
   

4. 在任意一个节点上对网络磁盘/dev/sda进行分区, 在另一个节点上如果分区没有显示出来的话，需要用partprobe同步下分区表

5. 在任意节点上用mkfs.xfs /dev/sda1格式化该分区

6. 在任意节点上创建数据资源wwwdata
   pcs resource create wwwdata ocf:heartbeat:Filesystem device=/dev/sda1 directory=/var/www/html fstype=xfs op monitor interval=30s

7. 由于新建的资源没有在webgroup资源组里，优先级必须是vip, wwwdata, web
   步骤：
   1). pcs resource group remove webgroup
   2). pcs resource group add webgroup vip wwwdata web
   

8. 测试：此时资源放在server1节点上，当server1节点不能正常工作后，会自动漂移到另一个节点上

实现带fence的httpd高可用

1. 宿主机安装fence-virtddnf install fence-virtd*

2. ‘fence_virtd -c’ 进入fence_virtd的配置模式

3. 创建认证文件,并重启服务
   1).mkdir /etc/cluster
   2).dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1
3). systemctl restart fence_virtd.service

4. 在两个节点上创建 /etc/cluster目录，并且将宿主机上的认证文件放到该目录下scp /etc/cluster/fence_xvm.key server2:/etc/cluster/fence_xvm.key

5. 可以在节点上查看可用的fence
   stonith_admin -I
stonith_admin -M -a fence_xvm 查看fence_xvm的详细信息

6. 创建fencs_xvm类型的vmfence
   pcs stonith create vmfence fence_xvm pcmk_host_map="server1:node1;server2:node2" op monitor interval=30s
   注: 映射规则 "主机名: 域名"中间用; 隔开
   需要打开stonith 的开关
   pcs property set stonith-enabled=true
   通过pcs property list 查看是否打开
   

7. 此时资源在server1节点上, 在server2通过fence_xvm -H node1使server1主机重启, 可以使资源漂移到server2节点上

8. 当高可用节点重启之后，如果发生抢占资源的现象可以通过pcs resource defaults resource-stickiness=100 来起到不发生抢占资源的现象