corosync + pacemaker + crmsh 高可用集群

最新推荐文章于 2024-07-10 08:38:45 发布
最新推荐文章于 2024-07-10 08:38:45 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： 学习日记 文章标签： pacemaker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/QwQ_QAQ/article/details/72775164
版权

原理:

corosync提供集群的信息层（messaging layer）的功能，传递心跳信息和集群事务信息,多台机器之间通过组播的方式监测心跳
pacemaker工作在资源分配层，提供资源管理器的功能，并以crmsh这个资源配置的命令接口来配置资源
一个用于心跳检测，一个用于资源转移。两个结合起来使用，可以实现对高可用架构的自动管理。
心跳检测是用来检测服务器是否还在提供服务，只要出现异常不能提供服务了，就认为它挂掉了。
当检测出服务器挂掉之后，就要对服务资源进行转移。
CoroSync是运行于心跳层的开源软件。
PaceMaker是运行于资源转移层的开源软件。

更加详细的原理请点击下面传送门(论坛里有各个大佬的详述):
http://www.dataguru.cn/thread-527749-1-1.html

目标:

使用corosync监控心跳,pacemaker时先资源转移,crmsh实现集群资源配置
使用fence检查节点健康状况,实行跳电保护

准备:

环境:
redhat EL 6.5

机器及软件:
hostname: server6 ip: 172.25.12.6 corosync pacemaker crmsh
hostname: server7 ip: 172.25.12.7 corosync pacemaker (crmsh)
hostname: server8 ip: 172.25.12.8 corosync pacemaker (crmsh)

1.三台主机时间必须同步,因为我是用的同一虚拟机做的快照,所以这个问题可以避免
2.主机名要与uname -n 一致
3.配置三台主机的 hosts 文件(域名解析)
4、两台主机 root 用户能够基于密钥进行通信,因为一旦配置上高可用以后，资源都是受CRM所控制的，所以要将各资源的开机启动关闭

软件源:

corosync pacemaker 可以直接用官方镜像yum安装,但是yum源得配一下:

下面baseurl 是我自己的镜像挂载点,你们要自己修改下.

[Server]
name=Red Hat Enterprise Linux $releasever - $basearch - Source
baseurl=http://172.25.12.250/rhel6.5/Server
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

[HighAvailability]
name=HighAvailability
baseurl=http://172.25.12.250/rhel6.5/HighAvailability
gpgcheck=0

[LoadBalancer]
name=LoadBalancer
baseurl=http://172.25.12.250/rhel6.5/LoadBalancer
gpgcheck=0

[ResilientStorage]
name=ResilientStorage
baseurl=http://172.25.12.250/rhel6.5/ResilientStorage
gpgcheck=0

[ScalableFileSystem]
name=ScalableFileSystem
baseurl=http://172.25.12.250/rhel6.5/ScalableFileSystem
gpgcheck=0

crmsh 下载:
http://rpm.pbone.net/index.php3/stat/4/idpl/23861008/dir/RedHat%C2%A0EL%C2%A06/com/crmsh-1.2.6-0.rc2.2.1.x86_64.rpm.html
crmsh依赖性pssh下载:
http://rpm.pbone.net/index.php3/stat/4/idpl/25907913/dir/redhat_el_6/com/pssh-2.3.1-5.el6.noarch.rpm.html

安装:

下载到软件包之后 就直接
yum install -y corosync pacemaker crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-5.el6.noarch.rpm
其他依赖性yum会自动解决

配置:

corosync 配置文件在 /etc/corosync/ 目录下:
mv corosync.conf.example corosync.conf ##有一个模板,直接拿来修改

  #totem定义集群内各节点间是如何通信的,totem本是一种协议，专用于corosync专用于各节点间的协议，totem协议是有版本的；
totem {
    version: 2    #totme的版本,不可更改
    secauth: off  #安全认证,开启时很耗cpu
    threads: 0    #安全认证开启后并行线程数
    interface {
        ringnumber: 0   #回环号码,若主机有多块网卡,避免心跳汇流
        bindnetaddr: 172.25.12.0  #心跳网段,corosync会自动判断本地网卡上配置的哪个IP地址是属于这个网络的，并把这个接口作为多播心跳信息传递的接口
        mcastaddr: 226.94.1.1  #心跳信息组播地址(所有节点必须一致)
        mcastport: 5405 #组播端口
        ttl: 1   #只条一跳,避免组播报文环路
    }
}

logging {
    fileline: off
    to_stderr: no
    to_logfile: yes
    to_syslog: yes
    logfile: /var/log/cluster/corosync.log
    debug: off
    timestamp: on
    logger_subsys {
        subsys: AMF
        debug: off
    }
}

amf {
    mode: disabled
}

#让pacemaker在corosync中以插件方式启动:
service{
    ver:0  #版本号
    name:pacemaker  #模块名,启动corosync同时启动pacemaker
}

#运行身份
aisxec{
    user:root
    group:root
}

生成多播信息密钥:

corosync-keygen 生成传递心跳信息时的预共享密钥，生成密钥时需要用到 /dev/random  一共需要1024位的长度
# 生成后的密钥文件会在配置文件目录下自行生成一个authkey文件

注意:
/dev/random是 Linux系统下的随机数生成器，它会从当前系统的内存中一个叫熵池的地址空间中根据系统中断来生成随机数，加密程序或密钥生成程序会用到大量的随机数，就会出现随机数不够用的情况，random 的特性就是一旦熵池中的随机数被取空，会阻塞当前系统进程等待产生中断会继续生成随机数；
由于此处会用到1024位长度的密钥，可能会存在熵池中的随机数不够用的情况，就会一直阻塞在生成密钥的阶段,所以我们用 /dev/urandom 来代替它,/dev/urandom不依赖系统的中断，也就不会造成进程忙等待，但是数据的随机性也不高

操作:

mv /dev/{random,random.bak}
ln -s /dev/urandom /dev/random
corosync-keygen   #就不会卡住了

chmod 400 authkey  # 密钥文件权限必须为 400 或 600
scp -p authkey corosync.conf server7:/etc/corosync/
scp -p authkey corosync.conf server8:/etc/corosync/
  # 将刚生成的密钥与配置文件复制到第其他节点上,并保存权限；

service corosync start #所有节点启动服务

crm_mon #查看集群信息

Last updated: Fri May 26 20:27:03 2017
Last change: Fri May 26 19:19:16 2017 via cibadmin on server6
Stack: classic openais (with plugin)
Current DC: server8 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes  #三个节点,三票
0 Resources configured    #资源数


Online: [ server6 server7 server8 ]  #在线节点

日志文件:
/var/log/cluster/corosync.log

启动完成后要在各个节点上进行一系列的确认，看各组件工作是否正常：

grep -e "Corosync Cluster Engine" -e "configuration file" /var/log/cluster/corosync.log
#确保   Cluster Engine  工作是否正常
grep  "TOTEM"  /var/log/cluster/corosync.log
# 查看初始化成员节点通知是否正常发出
grep pcmk_startup /var/log/cluster/corosync.log
# 查看 pcmk(pacemaker简写) 插件工作是否正常
grep ERROR /var/log/cluster/corosync.log
# 检查启动过程中是否有错误产生        
# 日志出现了哪些错误，如果出现提示pacemaker不应该以插件方式运行直接忽略即可；
# 可能会提示我们PE工作不正常；让我们用  crm_verify -L  -V 来查看

crm_verify -L -V

error: unpack_resources: Resource start-up disabled since no STONITH resources have been defined
error: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option
error: unpack_resources: NOTE: Clusters with shared data need STONITH to ensure data integrity
Errors found during check: config not valid
# corosync默认启用了stonith，而当前集群并没有相应的stonith设备，因此此默认配置目前尚不可用
# 即没有 STONITH 设备，此处实验性目的可以忽略；

crm:
1.在crm管理接口所做的配置会同步到各个节点上
2.任何操作都需要commit提交后才会生效；
3.想要删除一个资源之前需要先将资源停止
4.可以用 help COMMAND 获取该命令的帮助
5.支持 TAB 补全

工作模式:
1.批处理模式,在shell中直接输入命令
2.交互式

[root@server8 ~]# crm
crm(live)# help   #获取当前可用命令
This is crm shell, a Pacemaker command line interface.
Available commands:
cib              manage shadow CIBs # cib沙盒
resource         resources management # 所有的资源都在这个子命令后定义
configure        CRM cluster configuration # 编辑集群配置信息
node             nodes management # 集群节点管理子命令
options          user preferences # 用户优先级
history          CRM cluster history
site             Geo-cluster support
ra               resource agents information center # 资源代理子命令（所有与资源代理相关的程都在此命令之下）
status           show cluster status # 显示当前集群的状态信息
help,?           show help (help topics for list of topics)# 查看当前区域可能的命令
end,cd,up        go back one level # 返回第一级crm(live)#
quit,bye,exit    exit the program  # 退出crm（live）交互模式

常用子命令:

1.resource子命令 #定义所有资源的状态

crm(live)resource# help
vailable commands:
status           show status of resources #显示资源状态信息
start            start a resource #启动一个资源
stop             stop a resource #停止一个资源
restart          restart a resource #重启一个资源
promote          promote a master-slave resource #提升一个主从资源
demote           demote a master-slave resource #降级一个主从资源
manage           put a resource into managed mode
unmanage         put a resource into unmanaged mode
migrate          migrate a resource to another node #将资源迁移到另一个节点
unmigrate        unmigrate a resource to another node
param            manage a parameter of a resource #管理资源的参数
secret           manage sensitive parameters #管理敏感参数
meta             manage a meta attribute #管理源属性
utilization      manage a utilization attribute
failcount        manage failcounts #管理失效计数器
cleanup          cleanup resource status #清理资源状态
refresh          refresh CIB from the LRM status #从LRM（LRM本地资源管理）更新CIB（集群信息库）
reprobe          probe for resources not started by the CRM #探测在CRM中没有启动的资源
trace            start RA tracing #启用资源代理（RA）追踪
untrace          stop RA tracing #禁用资源代理（RA）追踪
help             show help (help topics for list of topics) #显示帮助
end              go back one level #返回一级（crm(live)#）
quit             exit the program #退出交互式程序

2.configure子命令 #资源粘性、资源类型、资源约束

crm(live)configure# help
Available commands:
node             define a cluster node #定义一个集群节点
primitive        define a resource #定义资源
monitor          add monitor operation to a primitive #对一个资源添加监控选项（如超时时间，启动失败后的操作）
group            define a group #定义一个组类型（将多个资源整合在一起）
clone            define a clone #定义一个克隆类型（可以设置总的克隆数，每一个节点上可以运行几个克隆）
ms               define a master-slave resource #定义一个主从类型（集群内的节点只能有一个运行主资源，其它从的做备用）
rsc_template     define a resource template #定义一个资源模板
location         a location preference # 定义位置约束优先级（默认运行于那一个节点（如果位置约束值相同，默认倾向性哪一个高，就在哪一个节点上运行））
colocation       colocate resources #排列约束资源（多个资源在一起的可能性）
order            order resources #资源的启动的先后顺序
rsc_ticket       resources ticket dependency#
property         set a cluster property #设置集群属性
rsc_defaults     set resource defaults #设置资源默认属性（粘性）
fencing_topology node fencing order #隔离节点顺序
role             define role access rights #定义角色的访问权限
user             define user access rights #定义用用户访问权限
op_defaults      set resource operations defaults #设置资源默认选项
schema           set or display current CIB RNG schema
show             display CIB objects #显示集群信息库对
edit             edit CIB objects #编辑集群信息库对象（vim模式下编辑）
filter           filter CIB objects #过滤CIB对象
delete           delete CIB objects #删除CIB对象
default-timeouts     set timeouts for operations to minimums from the meta-data
rename           rename a CIB object #重命名CIB对象
modgroup         modify group #改变资源组
refresh          refresh from CIB #重新读取CIB信息
erase            erase the CIB #清除CIB信息
ptest            show cluster actions if changes were committed
rsctest          test resources as currently configured
cib              CIB shadow management
cibstatus        CIB status management and editing
template         edit and import a configuration from a template
commit           commit the changes to the CIB #将更改后的信息提交写入CIB
verify           verify the CIB with crm_verify #CIB语法验证
upgrade          upgrade the CIB to version 1.0
save             save the CIB to a file #将当前CIB导出到一个文件中（导出的文件存于切换crm 之前的目录）
load             import the CIB from a file #从文件内容载入CIB
graph            generate a directed graph
xml              raw xml
help             show help (help topics for list of topics) #显示帮助信息
end              go back one level #回到第一级(crm(live)#)

3.node子命令 #节点管理和状态

crm(live)# node
crm(live)node# help
Node management and status commands.
Available commands:
status           show nodes status as XML #以xml格式显示节点状态信息
show             show node #命令行格式显示节点状态信息
standby          put node into standby #模拟指定节点离线（standby在后面必须的FQDN）
online           set node online #节点重新上线
maintenance      put node into maintenance mode
ready            put node into ready mode
fence            fence node #隔离节点
clearstate       Clear node state #清理节点状态信息
delete           delete node #删除 一个节点
attribute        manage attributes
utilization      manage utilization attributes
status-attr      manage status attributes
help             show help (help topics for list of topics)
end              go back one level
quit             exit the program

4.ra子命令 #资源代理类别都在此处

crm(live)# ra
crm(live)ra# help
Available commands:
classes          list classes and providers # 为资源代理分类
list             list RA for a class (and provider) # 显示一个类别中的提供的资源
meta             show meta data for a RA # 显示一个资源代理序的可用参数（如meta ocf:heartbeat:IPaddr2）
providers        show providers for a RA and a class
help             show help (help topics for list of topics)
end              go back one level
quit             exit the program

禁用stonith设备(如果没有stonith设备，最好禁用)：
这块我们要配置fence,所以stonith就不用禁用了

configure
crm(live)configure# property stonith-enabled=false
crm(live)configure# commit
crm_verify -L -V   #此时在检查就不会检查 stoith 设备了；

配置vip:

crm(live)#configure
crm(live)configure# primitive vip ocf:heartbeat:IPaddr params ip=172.25.12.200 nic='eth0' cidr_netmask='24' broadcast='172.25.12.255'
# 只要IPaddr 不在一个以上资源代理类别下存在，ocf:heartbeat都可以省略
crm(live)configure# verify
crm(live)configure# commit
crm(live)configure# cd
crm(live)# status
Last updated: Fri May 26 20:56:39 2017
Last change: Fri May 26 20:56:34 2017 via cibadmin on server8
Stack: classic openais (with plugin)
Current DC: server8 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
1 Resources configured
Online: [ server6 server7 server8 

 vip    (ocf::heartbeat:IPaddr):    Started server6
 #vip在server6上运行

查看vip:

[root@server6 ~]# ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:0b:8f:1f brd ff:ff:ff:ff:ff:ff
    inet 172.25.12.6/24 brd 172.25.12.255 scope global eth0
    inet 172.25.12.100/24 brd 172.25.12.255 scope global secondary eth0
    inet6 fe80::5054:ff:fe0b:8f1f/64 scope link 
       valid_lft forever preferred_lft forever

VIP 地址已经配置成功，crm定义的资源就会传到各个节点，并在各个节点上生效，此时将server6节点转换成standby，VIP就会转移到其它节点上

[root@server6 ~]# crm
crm(live)# node
crm(live)node# standby 
crm(live)node# cd
crm(live)# status
Last updated: Fri May 26 21:01:33 2017
Last change: Fri May 26 21:01:28 2017 via crm_attribute on server6
Stack: classic openais (with plugin)
Current DC: server8 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
1 Resources configured


Node server6: standby
Online: [ server7 server8 ]  #现在运行的就只有server7 server8了

 vip    (ocf::heartbeat:IPaddr):    Started server8 
 #vip被转移到了server8上

查看转移后的vip:

[root@server8 ~]# ip addr show eth0
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 52:54:00:3e:fb:19 brd ff:ff:ff:ff:ff:ff
    inet 172.25.12.8/24 brd 172.25.12.255 scope global eth0
    inet 172.25.12.200/24 brd 172.25.12.255 scope global secondary eth0
    inet6 fe80::5054:ff:fe3e:fb19/64 scope link 
       valid_lft forever preferred_lft forever

rm node online # 再将节点重新上线，但资源并没有回来，说明它不会做 failback(资源流转）

注意:
如果集群里只有两个节点时:
将其中一个节点停止，资源就会消失而不是转移到另一个节点上，因为当前是两节点的集群，任何一个节点损坏，其它节点就没办法进行投票，status 中就会变成 WITHOUT quorum
所以我用了三个节点,当其中一个节点停止时,其他两个还能进行投票
当只剩下一个节点时,整个集群就会崩溃,上面的资源全部停掉,我们可以通过忽略投票的方式解决这个问题:

crm(live)configure# property no-quorum-policy=ignore
crm(live)configure# commit

实验:

定义一个高可用集群:
1.VIP:172.125.12.200
2.配置apache(httpd)服务
3.定义约束,保证资源的先后启动顺序,将两个资源运行在同一个节点
4.设置fence进行跳电保护

monitor 监控资源:

 monitor <rsc> [:<role>] <interval>  [:<timeout>]  

监控    哪个资源  哪个角色  多长时间监控一次  监控超时时长是多少

在做实验之前,先把之前的VIP删掉:
删除vip之前,先把它停掉

crm(live)# resource 
crm(live)resource# status
 vip    (ocf::heartbeat:IPaddr):    Started 
crm(live)resource# stop vip
crm(live)resource# status
 webip  (ocf::heartbeat:IPaddr):    Stopped 
crm(live)resource# cd
crm(live)# configure 
crm(live)configure# delete vip
crm(live)configure# commit

1.定义vip:

crm(live)configure# primitive webip IPaddr params ip=172.25.12.200 op monitor interval=10s timeout=20s
crm(live)configure# verify
crm(live)configure# commit 
crm(live)configure# cd
crm(live)# status
Last updated: Fri May 26 19:00:35 2017
Last change: Fri May 26 19:00:27 2017 via cibadmin on server6
Stack: classic openais (with plugin)
Current DC: server8 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
1 Resources configured


Node server6: standby
Online: [ server7 server8 ]

 webip  (ocf::heartbeat:IPaddr):    Started server7

2.定义apache资源:
先在所有节点都装上apache
yum install httpd
不用设置启动,将开机自启关闭

crm(live)# configure 
crm(live)configure# primitive webserver lsb:httpd op monitor interval=30s timeout=15s
crm(live)configure# verify
crm(live)configure# commit 
crm(live)configure# cd
crm(live)# status
Last updated: Fri May 26 19:03:47 2017
Last change: Fri May 26 19:03:37 2017 via cibadmin on server6
Stack: classic openais (with plugin)
Current DC: server8 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
2 Resources configured


Node server6: standby
Online: [ server7 server8 ]

 webip  (ocf::heartbeat:IPaddr):    Started server7 
 webserver  (lsb:httpd):    Started server8

3.资源捆绑(资源粘滞):
现在两个资源都启动了,但是分散在不同节点上,默认情况下资源是尽可能均衡的运行在各节点上的；

两种解决办法：
1>. group 组资源，将两个资源定义在一起，做为一组资源而运行；
2>.colocation 也可以定义排列约束，也叫协同约束，两个资源必须在一起；

第一种比较简单:

(1)组的建立:

crm(live)configure# group webip_before_webserver webip webserver
crm(live)configure# commit

group后跟组名字,然后是组里要加的资源,根据加入的先后进行启动顺序的先后设置
添加完成后用crm_mon查看集群状态:

 Resource Group: webip_before_webserver
     vip        (ocf::heartbeat:IPaddr):        Started server6
     webserver  (lsb:httpd):    Started server6

(2)组的删除:

要删除组的话,必须先在resource里停掉组资源,再在configure里删除掉组资源,这样删除的是资源的捆绑状态,删除完之后,资源还在,不过并不是捆绑了

crm(live)# resource 
crm(live)resource# status
 Resource Group: webip_before_webserver
     vip    (ocf::heartbeat:IPaddr):    Started 
     webserver  (lsb:httpd):    Started 
crm(live)resource# stop webip_before_webserver
crm(live)resource# cd
crm(live)# configure 
crm(live)configure# delete webip_before_webserver
crm(live)configure# commit 
crm(live)configure# cd
crm(live)# resource 
crm(live)resource# status
 vip    (ocf::heartbeat:IPaddr):    Started 
 webserver  (lsb:httpd):    Started

要删除资源,顺序是一样的,先在resource里停掉资源,再在configure里删除掉资源,

第二种比较复杂:

crm(live)# configure 
crm(live)configure# colocation apache inf: webserver webip
crm(live)configure# show
node server6 \
    attributes standby="on"
node server7
node server8
primitive webip ocf:heartbeat:IPaddr \
    params ip="172.25.12.200" \
    op monitor interval="10s" timeout="20s"
primitive webserver lsb:httpd \
    op monitor interval="30s" timeout="15s"
colocation apache inf: webserver webip
property $id="cib-bootstrap-options" \
    dc-version="1.1.10-14.el6-368c726" \
    cluster-infrastructure="classic openais (with plugin)" \
    expected-quorum-votes="3" \
    stonith-enabled="false"
crm(live)configure# cd
crm(live)# status
Last updated: Fri May 26 22:37:13 2017
Last change: Fri May 26 22:16:30 2017 via cibadmin on server8
Stack: classic openais (with plugin)
Current DC: server8 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
2 Resources configured


Online: [ server6 server7 server8 ]

 webip  (ocf::heartbeat:IPaddr):    Started server7 
 webserver  (lsb:httpd):    Started server7
 ##两个资源都在7上了

定义顺序约束:

crm(live)configure#order webip_before_webserver mandatory: webip webserver
crm(live)configure# commit

注：mandatory 代表强制，webip、webserver 这两个资源必须按照我所给定的顺序启动

4.设置fence:
我这里所有的节点用的是虚拟机,软件fence,所有的虚拟机调用的都是物理机(真机)上的fence_virtd.service 服务

所以先在物理机上进行fence_virtd的安装:

yum install -y fence-virtd-libvirt.x86_64 fence-virtd-multicast.x86_64 fence-virtd.x86_64

配置fence:
fence_virtd -c

Module search path [/usr/lib64/fence-virt]:
Listener module [multicast]:
Multicast IP Address [225.0.0.12]:
Multicast IP Port [1229]:
Interface [br0]:
Key File [/etc/cluster/fence_xvm.key]:
Backend module [libvirt]:
Replace /etc/fence_virt.conf with the above [y/N]? y
mkdir /etc/cluster/
cd /etc/cluster/

用随机数生成key:
dd if=/dev/urandom of=/etc/cluster/fence_xvm.key bs=128 count=1

将生成的key发放到各个节点(节点上的目录如果不存在就自己建立):
scp fence_xvm.key  root@172.25.12.8:/etc/cluster/
scp fence_xvm.key  root@172.25.12.7:/etc/cluster/
scp fence_xvm.key  root@172.25.12.6:/etc/cluster/

启动fence:
systemctl start fence_virtd.service 

fence占用的是1229端口:
netstat -anulp | grep :1229

节点配置(三个节点进行一样的配置):

yum install -y fence_virt

查看:
stonith_admin -I
是否有 fence_xvm
[root@server8 ~]# stonith_admin -I
 fence_xvm
 fence_virt
 fence_pcmk
 fence_legacy

一定要确定stonith是开启状态的,要不然fence不起作用
开启stonith:

crm(live)configure# property stonith-enabled=true
crm(live)configure# commit

在资源中加入fence:

pcmk_host_map 后的语法是 主机名:域名 
主机名是 hostname 显示的名字(/etc/sysconfig/network)
虚拟机域名是 安装虚拟机时,给虚拟机起的名字
crm(live)configure# primitive vmfence stonith:fence_xvm params pcmk_host_map="server6:server6;server7:server7" op monitor interval="20s"
crm(live)configure# commit

fence默认是与资源分开在不同的节点的,除非只有一个节点

测试fence:
将server7的内核崩溃掉 观察它会不会重启:

[root@server7 ~]# echo c > /proc/sysrq-trigger

如果自动重启,则fence配置成功

实验测试:

访问 http://172.25.12.200 就能访问到server7上的http页面
将server7 standby

crm(live)node# standby server7
crm(live)node# cd
crm(live)# status
Last updated: Mon Jun  5 19:56:38 2017
Last change: Mon Jun  5 19:56:26 2017 via crm_attribute on server6
Stack: classic openais (with plugin)
Current DC: server6 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
3 Resources configured


Node server7: standby
Online: [ server6 server8 ]

 vmfence    (stonith:fence_xvm):    Started server6 
 Resource Group: webip_before_webserver
     vip    (ocf::heartbeat:IPaddr):    Started server8 
     webserver  (lsb:httpd):    Started server8

整个组资源就都转移到了server8上,刷新页面, http://172.25.12.200 访问的时server8上的http页面

将server7上线,资源也不会流转回来


crm(live)# status
Last updated: Mon Jun  5 19:59:38 2017
Last change: Mon Jun  5 19:59:18 2017 via crm_attribute on server7
Stack: classic openais (with plugin)
Current DC: server6 - partition with quorum
Version: 1.1.10-14.el6-368c726
3 Nodes configured, 3 expected votes
3 Resources configured


Online: [ server6 server7 server8 ]

 vmfence    (stonith:fence_xvm):    Started server6 
 Resource Group: webip_before_webserver
     vip    (ocf::heartbeat:IPaddr):    Started server8 
     webserver  (lsb:httpd):    Started server8

但是,在只有两个节点时,一个节点上运行fence(server6),一个节点上运行资源组(server7),在将server7 standby掉之后,再 online server7 资源会回流,因为它会默认将资源均衡的分配在不同节点上

关于资源回流的总结:

当资源少于节点数时,资源不会回流,
当资源等于节点数时,会发生回流,
当资源大于节点数时,会将资源重新分配(不一定是回流)

Y_Groot
关注
专栏目录
crmsh官方源码
09-23
crmsh官方源码
高可用集群(ha)之Corosync和pacemaker简介
weixin_34381687的博客
04-26 390
一、Corosync简介和pacemaker简介 1、Corosync Corosync是OpenAIS发展到Wilson版本后衍生出来的开放性集群引擎工程。可以说Corosync是OpenAIS工程的一部分。corosync是用于高可用环境中的提供通讯服务的，它位于高可用集群架构中的底层（Message Layer），扮演着为各节点（node）之间提供心跳信息传...
CDH高可用部署
天涯云海的专栏
01-17 3224
前期准备 配置hosts 192.168.245.105 scm-node1 192.168.245.106 scm-node2 192.168.245.107 scm-node3 设置hostname 在192.168.245.105上执行 sudo hostnamectl --static --transient set-hostname scm-node1 在192.168.245....
【项目实战4】高可用——利用pacemaker与心跳corosync实现双机热备
weixin_48819467的博客
07-12 2221
双机热备----------集群资源管理器pacemaker与心跳corosync一、 概念性知识二、实验准备三、设定免密登陆四、设定yum源1.先在server1中设定yum源2.将server1的yum源发送给其他四个server虚拟机五、安装启动软件，设定密码1.下载软件2.设置用户六、核心部分：实现高可用集群1.认证服务2.启动HA心跳信息corosync，集群资源管理器pacemaker3.查看pcs状态4.启动集群5.检测心跳服务安装情况七、集群服务添加虚拟的ip，添加监控1. 停掉fence服
Linux 高可用（HA）集群之Corosync详解
weixin_33726943的博客
08-13 263
大纲一、Corosync 概述二、Corysync与Pacemaker 安装三、Corosync 详细配置四、Corosync 启动信息一、Corosync 概述（注：本文的理论部分主要参考，“孟三的博客” http://blog.sina.com.cn/s/blog_7695e9f40100pcnz.html） 1.简单概述 要说明corosync的由来，首先...
corosync+pacemaker高可用方案.pdf
10-22
corosync+pacemaker高可用方案，想要提升性能的可以看看。
基于corosync+pacemaker的nginx高可用集群安装配置.docx
09-27
基于corosync+pacemaker的nginx高可用集群安装配置.docx
Corosync + pacemaker 高可用部署设计方案
05-25
在IT领域，尤其是在服务器集群和高可用性(High Availability, HA)系统的设计中，Corosync和Pacemaker是两个非常关键的组件。这个“Corosync + pacemaker 高可用部署设计方案”提供了详细的步骤和资源，帮助我们理解...
zimbra-high-availability:带有 CoroSync+Pacemaker+DRBD 的 Zimbra 高可用性（集群）
07-04
zimbra-高可用性带有 CoroSync+Pacemaker+DRBD 的 Zimbra 高可用性（集群） 这是一个包含一些示例配置的指南，可帮助您使用 CoroSync + Pacemaker + DRBD 配置 Zimbra HA。 本教程中的信息已通过以下版本验证：...
corosync基础原理
chongganhe5072的博客
04-26 973
corosync基础原理 转载于:https://my.oschina.net/u/3357039/blog/887195
pacemaker+corosync的一些总结
danns888的专栏
05-31 1361
corosync：只有对Messaging Layer的实现，本身不具备resource的原理，需要和pacemaker的RA搭配使用，简单来讲coyosync就是通过发送广播包，确认对方是否还存活（心跳确认） /etc/corosync/corosync.conf 这里配置多个心跳线，如果node节点有多个网卡，可以配置多个心跳线来提高可用性. totem { version: 2 rrp_mode: active token: 15000 .
pacemaker +corosync
Dream wedding
07-11 2661
pacemaker是一个集群资源管理器。利用集群基础构件（OpenAIS,heartbeat和corosync）提供的消息和成员管理能力来探测并从节点或者资源级别的故障中恢复，以实现集群服务的最大可用性。corosync是集群框架引擎程序，pacemaker是高可用集群资源管理器；资源管理层（pacemaker）负责活动节点，ip地址转移，本地资源管理系统。（corosync）消息传递层负责心跳信...
pacemaker corosync 概念
andy-chenqi
05-06 866
　　1、概念 　　在传统Linux集群种类，主要分了三类，一类是LB集群，这类集群主要作用是对用户的流量做负载均衡，让其后端每个server都能均衡的处理一部分请求；这类集群有一个特点就是前端调度器通常是单点，后端server有很多台，即便某一台后端server挂掉，也不影响用户的请求；其次就是HA集群，所谓ha集群就是高可用集群，这类集群的主要作用是对集群中的单点做高可用，所谓高可用就是在发生故障时，能够及时的将故障转移，从而使故障修复时间最小；这类集群的特点是在多台节点上，各空闲节点会一直盯着工作节点
Linux集群技术：使用Pacemaker和Corosync设置高可用集群
最新发布
weixin_39372311的博客
07-10 1261
Pacemaker是一个集群资源管理器，它负责管理集群中的资源，如服务、IP地址和存储卷，并确保这些资源在故障发生时能够自动迁移到健康的节点上。Corosync是一个集群通信工具，它提供了集群成员之间的消息传递机制，确保集群中的每个节点都能够相互通信。Pacemaker/Corosync 和 Keepalived/HAProxy 都提供了高可用性解决方案，但它们的工作原理和功能有所不同。选择哪种方案取决于你的实际需求，包括资源管理、负载均衡和配置复杂度等因素。
corosync+pacemaker高可用集群
weixin_34414650的博客
11-15 253
一、简介高可用集群，是指以减少服务中断（如因服务器宕机等引起的服务中断）时间为目的的服务器集群技术。简单的说，集群就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点。高可用集群的出现是为了减少由计算机硬件和软件易错性所带来的损失。它通过保护用户的业务程序对外不间断提供的服务，把因软件/硬件/人为造成的故障对业务的影响降低...
Linux运维之pacemaker+corosync实现集群管理（负载均衡、配置fence服务）
qq_41830712的博客
04-25 2142
前言： 高可用集群，是指以减少服务中断（如因服务器宕机等引起的服务中断）时间为目的的服务器集群技术。简单的说，集群就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点。 高可用集群的出现是为了减少由计算机硬件和软件易错性所带来的损失。它通过保护用户的业务程序对外不间断提供的服务，把因软件/硬件/人为造成的故障对业务的影响降低到最小程度。如果某个节点失效，它的备...
高可用集群技术之corosync应用详解(一)
weixin_34355715的博客
08-15 728
Corosync概述:Corosync是集群管理套件的一部分，它在传递信息的时候可以通过一个简单的配置文件来定义信息传递的方式和协议等。它是一个新兴的软件，2008年推出，但其实它并不是一个真正意义上的新软件，在2002年的时候有一个项目Openais , 它由于过大，分裂为两个子项目，其中可以实现HA心跳信息传输的功能就是Corosync ,它的代码60%左右来源于Open...
Centos 8 搭建pacemaker+corosync实现高可用集群
qq_58462846的博客
11-26 1811
　Pacemaker是 Linux环境中使用最为广泛的开源集群资源管理器， Pacemaker利用集群基础架构(Corosync或者 Heartbeat)提供的消息和集群成员管理功能，实现节点和资源级别的故障检测和资源恢复，从而最大程度保证集群服务的高可用。从逻辑功能而言， pacemaker在集群管理员所定义的资源规则驱动下，负责集群中软件服务的全生命周期管理，这种管理甚至包括整个软件系统以及软件系统彼此之间的交互。 Pacemaker在实际应用中可以管理任何规模的集群，由于其具备强大的资源依赖模型，这
使用Corosync+pacemaker+DRBD构建MySQL高可用集群
"本文主要介绍了如何使用Corosync和Pacemaker结合DRBD来实现基于分布式存储的MySQL高可用性集群。文中详细阐述了集群搭建的前提条件、准备工作以及DRBD的安装与配置步骤。" 在构建高可用性的MySQL服务时，Corosync...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值