corosync+pacemaker实现集群管理

又是一个高可用！！！

啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊，拖了这么长时间才整理原理和细节，在作这节过程中，我感觉最难的不是corosync搭建高可用，而是在配置节点时使用crm命令的一些使用方法，刚好找了一篇总结的比较好的文挡，放在上面了，现在来看原理：
先理解几个名词：

API：

（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。
linux API
在linux中，用户编程接口API遵循了UNIX中最流行的应用编程界面标准—POSIX标准。POSIX标准是由IEEE和ISO/IEC共同开发的标准系统。该标准基于当时现有的UNIX实践和经验，描述了操作系统的系统调用编程接口API，用于保证应用程序可以在源程序一级上在多种操作系统上移植运行。这些系统调用编程接口主要是通过C库（LIBC）来实现的。

AIS和OpenAIS简介

AIS应用接口规范，是用来定义应用程序接口（API）的开放性规范的集合，这些应用程序作为中间件为应用服务提供一种开放、高移植性的程序接口。是在实现高可用应用过程中是亟需的。服务可用性论坛（SA Forum）是一个开放性论坛，它开发并发布这些免费规范。使用AIS规范的应用程序接口（API），可以减少应用程序的复杂性和缩短应用程序的开发时间，这些规范的主要目的就是为了提高中间组件可移植性和应用程序的高可用性。
OpenAIS是基于SA Forum 标准的集群框架的应用程序接口规范。OpenAIS提供一种集群模式，这个模式包括集群框架，集群成员管理，通信方式，集群监测等，能够为集群软件或工具提供满足 AIS标准的集群接口，但是它没有集群资源管理功能，不能独立形成一个集群。

CoroSync

corosync最初只是用来演示OpenAIS集群框架接口规范的一个应用，可以说corosync是OpenAIS的一部分，然而后面的发展超越了官方最初的设想，越来越多的厂商尝试使用corosync作为集群解决方案。如Redhat的RHCS集群套件就是基于corosync实现。

corosync只提供了message layer(即实现HeartBeat + CCM)，而没有直接提供CRM，一般使用Pacemaker进行资源管理。###所以，下面这幅图的or那里的意思懂了吧：

注：图上蓝色部分为pacemaker的模块

OpenAIS是基于SA Forum 标准的集群框架的应用程序接口规范。OpenAIS提供一种集群模式，这个模式包括集群框架，集群成员管理，通信方式，集群监测等，能够为集群软件或工具提供满足AIS标准的集群接口，但是它没有集群资源管理功能，所以需要和集群资源管理器搭配使用，不能独立形成一个集群。
服务可用性论坛（SA Forum）是一个开放性论坛，它开发并发布AIS规范。AIS是应用接口规范，是用来定义应用程序接口（API）的开放性规范的集合，应用程序作为中间件为应用服务提供一种开放、高移植性的程序接口，是在实现高可用应用过程中是亟需的。使用AIS规范的应用程序接口（API），可以减少应用程序的复杂性和缩短应用程序的开发时间，这些规范的主要目的就是为了提高中间组件可移植性和应用程序的高可用性。

Pacemaker

Pacemaker是由Linux-HA工程的Heartbeat项目中的CRM组件发展而来。 Heartbeat 3开始，Heartbeat 3 按模块把的原来Heartbeat拆分为多个子项目。CRM组件单独由另一独立项目Pacemaker 负责。单独成一个项目之后，Pacemaker以做一个可扩展性高可用集群资源管理器(A scalable High-Availability cluster resource manager)为目标，并同时支持Corosync和Heartbeat 。
1.群集组件说明：

stonithd：心跳系统。
lrmd：本地资源管理守护进程。它提供了一个通用的接口支持的资源类型。直接调用资源代理（脚本）。
pengine：政策引擎。根据当前状态和配置集群计算的下一个状态。产生一个过渡图，包含行动和依赖关系的列表。
CIB：群集信息库。包含所有群集选项，节点，资源，他们彼此之间的关系和现状的定义。同步更新到所有群集节点。
CRMD：集群资源管理守护进程。主要是消息代理的PEngine和LRM，还选举一个领导者（DC）统筹活动（包括启动/停止资源）的集群。
OpenAIS：OpenAIS的消息和成员层。
Heartbeat：心跳消息层，OpenAIS的一种替代。
CCM：共识群集成员，心跳成员层。

2.功能概述
CIB使用XML表示集群的集群中的所有资源的配置和当前状态。CIB的内容会被自动在整个集群中同步，使用PEngine计算集群的理想状态，生成指令列表，然后输送到DC（指定协调员）。Pacemaker 集群中所有节点选举的DC节点作为主决策节点。如果当选DC节点宕机，它会在所有的节点上， 迅速建立一个新的DC。DC将PEngine生成的策略，传递给其他节点上的LRMd（本地资源管理守护程序）或CRMD通过集群消息传递基础结构。当集群中有节点宕机，PEngine重新计算的理想策略。在某些情况下，可能有必要关闭节点，以保护共享数据或完整的资源回收。为此，Pacemaker配备了stonithd设备。STONITH可以将其它节点“爆头”，通常是实现与远程电源开关。Pacemaker会将STONITH设备，配置为资源保存在CIB中，使他们可以更容易地监测资源失败或宕机。

脑裂

当群集发生裂脑的状况时候，因为无法进行任何沟通而误会对方无法运作，所以主与备份服务器都会启动浮动IP和相关服务，此时若两部服务器对外连线亦未短线，那么势必导致有些使用者存取的是主要服务器，另外一些则存取备份服务器的情形。此外，如果两部服务器共享一个存储装置，发生裂脑时两部服务器会同时挂载该存储装置，亦同时存取相同的档案，因此若共享存储装备缺乏良好的锁定机制，更可能使得存储装置上的档案因同时读写而损坏。更有可能导致硬盘中写入不一致的信息，导致后期数据错误，甚至整个数据库损坏，后果不堪设想。
避免裂脑的方法有两个：第一个方法是在服务器间使用多重连线；第二个则是使用heartbeat的STONITH功能。
Stonith概述
stonith是“shoot the other node in the head”的首字母简写，它是Heartbeat软件包的一个组件，它允许使用一个远程或“智能的”连接到健康服务器的电源设备自动重启失效服务器的电源，stonith设备可以关闭电源并响应软件命令，运行Heartbeat的服务器可以通过串口线或网线向stonith设备发送命令，它控制高可用服务器对中其他服务器的电力供应，换句话说，主服务器可以复位备用服务器的电源，备用服务器也可以复位主服务器的电源。
注意：尽管理论上连接到远程或“智能的”循环电源系统的电力设备的数量是没有限制的，但大多数stonith实现只使用两台服务器，因为双服务器stonith配置是最简单的，最容易理解，它能够长时间运行且不会降低系统的可靠性和高可用性。

环境：
node1:172.25.67.1 server1
node2:172.25.67.2 server2
vip 172.25.67.100

一：安装配置 corosync 、pacemaker

两个节点上都安装：

[root@server1 ~]# yum -y install corosync pacemaker
[root@server2 ~]# yum -y install corosync pacemaker

查看生成文件

[root@server1 ~]# rpm -ql corosync
/etc/corosync
/etc/corosync/corosync.conf.example
/etc/corosync/corosync.conf.example.udpu
/etc/corosync/service.d
/etc/corosync/uidgid.d
/etc/dbus-1/system.d/corosync-signals.conf
/etc/rc.d/init.d/corosync
/etc/rc.d/init.d/corosync-notifyd
/etc/sysconfig/corosync-notifyd

更改配置文件名

[root@server1 ~]# mv /etc/corosync/corosync.conf.example /etc/corosync/corosync.conf