corosync

最新推荐文章于 2024-04-28 03:47:36 发布
置顶 最新推荐文章于 2024-04-28 03:47:36 发布
阅读量989 收藏
点赞数 1
分类专栏： 学习笔记 文章标签： 资源转移 linux运维企业部分
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyao130608/article/details/52074767
版权

          高可用架构有两个核心部分，一个是心跳检测，即检测服务器的运行情况，另一个则是资源转移，主要负责将公共资源再这个成服务器与故障服务器之间搬移。Pacemaker是一个集群管理器，由于corosync没有通用的资源管理器，只能借助Pacemaker来实现资源转移，整个运行过程就是心跳检测不断在网路中检测服务器的运行情况。，一旦检测的设备故障，就进行资源转移，以保证资源的高可用性。

        Corosync 是心跳信息传输层，它在传递信息时可通过简单的配置文件来定义信息的传递方式和协议等。它可以实现HA心跳信息传输的功能。

       下面就来安装pacemaker和 corosync


[root@server1 ~]# yum install -y pacemaker corosync

[root@server1 ~]# yum install -y crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm

[root@server1 ~]# cd /etc/corosync/

[root@server1 corosync]# ls

amf.conf.example       corosync.conf.example.udpu  uidgid.d

corosync.conf.example  service.d

[root@server1 corosync]# cp corosync.conf.example corosync.conf

修改 corosync.conf的配置文件：

[root@server1 corosync]# vim corosync.conf


将修改好的配置文件直接传给server2:

[root@server1 corosync]# scp corosync.conf 172.25.30.2:/etc/corosync/

打开server1上的corosync：
[root@server1 corosync]# /etc/init.d/corosync start

Starting Corosync Cluster Engine (corosync):               [  OK  ]

可以查看日志：

[root@server1 corosync]# tail -f /var/log/messages

Jul 19 14:18:00 server1 pengine[3576]:   notice: stage6: Delaying fencing operations until there are resources to manage

Jul 19 14:18:00 server1 pengine[3576]:   notice: process_pe_message: Calculated Transition 1: /var/lib/pacemaker/pengine/pe-input-1.bz2

Jul 19 14:18:00 server1 pengine[3576]:   notice: process_pe_message: Configuration ERRORs found during PE processing.  Please run "crm_verify -L" to identify issues.

Jul 19 14:18:00 server1 crmd[3577]:   notice: te_rsc_command: Initiating action 3: probe_complete probe_complete on server2.example.com - no waiting

Jul 19 14:18:00 server1 crmd[3577]:   notice: run_graph: Transition 1 (Complete=1, Pending=0, Fired=0, Skipped=0, Incomplete=0, Source=/var/lib/pacemaker/pengine/pe-input-1.bz2): Complete

server2上的操作基本类似于server1:

[root@server2 ~]#  yum install -y pacemaker corosync

[root@server2 ~]# yum install crmsh-1.2.6-0.rc2.2.1.x86_64.rpm pssh-2.3.1-2.1.x86_64.rpm -y

[root@server2 ~]# cd /etc/corosync/

[root@server2 corosync]# /etc/init.d/corosync start

Starting Corosync Cluster Engine (corosync):               [  OK  ]


#查看有没有端口冲突：

[root@server1 corosync]# crm_mon

Connection to the CIB terminated


Reconnecting...[root@server1 corosync]# 

[root@server1 corosync]# crm_verify -LV

   error: unpack_resources:  Resource start-up disabled since no STONITH resources have been defined

   error: unpack_resources:  Either configure some or disable STONITH with the stonith-enabled option

   error: unpack_resources:  NOTE: Clusters with shared data need STONITH to ensure data integrity

Errors found during check: config not valid

 

增加一个fence：

[root@foundation30 cluster]# systemctl start fence_virtd

[root@foundation30 cluster]# systemctl status fence_virtd

fence_virtd.service - Fence-Virt system host daemon

   Loaded: loaded (/usr/lib/systemd/system/fence_virtd.service; disabled)

   Active: active (running) since Tue 2016-07-19 15:11:21 CST; 9s ago

  Process: 4314 ExecStart=/usr/sbin/fence_virtd $FENCE_VIRTD_ARGS (code=exited, status=0/SUCCESS)

 Main PID: 4315 (fence_virtd)

   CGroup: /system.slice/fence_virtd.service

           └─4315 /usr/sbin/fence_virtd -w

 

[root@server1 ~]# cd /etc/cluster/

[root@server1 cluster]# ls

cman-notify.d  fence_xvm.key

[root@server1 cluster]# stonith_admin -a fence_xvm -M

[root@server1 cluster]# yum provides */fence_xvm


[root@server1 cluster]# crm

crm(live)# configure

crm(live)configure# show

node server1.example.com

node server2.example.com

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2"

crm(live)configure# primitive vmfence stonith:fence_xvm params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" op monitor interval=1min

crm(live)configure# commit

Server2这边自动同步过来：

[root@server2 cluster]# crm

crm(live)# configure

crm(live)configure# show

node server1.example.com

node server2.example.com

primitive vmfence stonith:fence_xvm \

params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" \

op monitor interval="1min"

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2"

此时可以看到server1上的vmfence已经开启：

[root@server2 cluster]# crm_mon


加一个VIP：

[root@server1 cluster]# crm

crm(live)# configure 

crm(live)configure# primitive vip ocf:heartbeat:IPaddr2 params ip=172.25.30.100 cidr_netmask=32 op monitor interval=30s

crm(live)configure# commit

 

[root@server1 cluster]# crm

crm(live)# configure

crm(live)configure# show

node server1.example.com

node server2.example.com

primitive vip ocf:heartbeat:IPaddr2 \

params ip="172.25.30.100" cidr_netmask="32" \

op monitor interval="30s"

primitive vmfence stonith:fence_xvm \

params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" \

op monitor interval="1min"

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2"

 

[root@server2 cluster]# crm_mon


但是，当server2上的corosync被停止时，server1不能监控到fence_xvm的状态：

所以此时需要property no-quorum-policy=ignore命令来改善这一缺陷，使得，当server2上的corosync被停止时，server1可以自动接管VIP，并且得以健康检测。

 

[root@server1 cluster]# crm

crm(live)# configure 

crm(live)configure# show

node server1.example.com

node server2.example.com

primitive vip ocf:heartbeat:IPaddr2 \

params ip="172.25.30.100" cidr_netmask="32" \

op monitor interval="30s"

primitive vmfence stonith:fence_xvm \

params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" \

op monitor interval="1min"

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2" \

no-quorum-policy="ignore"

 

crm(live)configure# property no-quorum-policy=ignore

crm(live)configure# commit

crm(live)configure# show

node server1.example.com

node server2.example.com

primitive vip ocf:heartbeat:IPaddr2 \

params ip="172.25.30.100" cidr_netmask="32" \

op monitor interval="30s"

primitive vmfence stonith:fence_xvm \

params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" \

op monitor interval="1min"

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2" \

no-quorum-policy="ignore"

[root@server2 cluster]# /etc/init.d/corosync stop

[root@server1 cluster]# crm_mon




当server2上的corosync再次被打开时，server2自动从server1上接管VIP，即使server1上的corosync状态一直为开启的。


添加Apache：

分别修改server1上和server2上的httpd 的配置文件：

[root@server2 ~]# vim /etc/httpd/conf/httpd.conf

<Location /server-status>

    SetHandler server-status

    Order deny,allow

    Deny from all

    Allow from 127.0.0.1

</Location>

 

[root@server1 ~]# vim /etc/httpd/conf/httpd.conf

<Location /server-status>

    SetHandler server-status

    Order deny,allow

    Deny from all

    Allow from 127.0.0.1

</Location>

 

[root@server1 ~]# crm

crm(live)# configure 

crm(live)configure# show

node server1.example.com

node server2.example.com

primitive vip ocf:heartbeat:IPaddr2 \

params ip="172.25.30.100" cidr_netmask="32" \

op monitor interval="30s"

primitive vmfence stonith:fence_xvm \

params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" \

op monitor interval="1min"

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2" \

no-quorum-policy="ignore"

crm(live)configure# primitive website ocf:heartbeat:apache params configfile=/etc/httpd/conf/httpd.conf op monitor interval=1min

crm(live)configure# commit

WARNING: website: default timeout 20s for start is smaller than the advised 40s

WARNING: website: default timeout 20s for stop is smaller than the advised 60s

crm(live)configure# commit

INFO: apparently there is nothing to commit

INFO: try changing something first

crm(live)configure# colocation website-with-ip inf: website vip

crm(live)configure# commit

 

此时server2为主节点，VIP以及website均由server2管理，但当server2上的corosync被关掉时，server1自动接管VIP以及website。当server2上的corosync被再次打开时，server1再次从server1上将VIP以及website接管。

[root@server2 ~]# crm_mon


[root@server2 ~]#/etc/init.d/corosync stop

[root@server2 ~]# crm_mon


[root@server3 ~]# dd if=/dev/zero of=/dev/vol0/demo bs=1024 count=1

dd: opening `/dev/vol0/demo': No such file or directory

[root@server3 ~]# dd if=/dev/zero of=/dev/vda bs=1024 count=1

1+0 records in

1+0 records out

1024 bytes (1.0 kB) copied, 0.000393783 s, 2.6 MB/s

 

[root@server3 ~]# /etc/init.d/tgtd start

Starting SCSI target daemon:                               [  OK  ]

[root@server3 ~]# vim /etc/tgt/targets.conf 

[root@server3 ~]# tgt-admin -s

 

[root@server1 ~]# iscsiadm -m discovery -t st -p 172.25.30.3

Starting iscsid:                                           [  OK  ]

172.25.30.3:3260,1 iqn.2016-07.com.example:server.disk

[root@server1 ~]# iscsiadm -m node -l

Logging in to [iface: default, target: iqn.2016-07.com.example:server.disk, portal: 172.25.30.3,3260] (multiple)

Login to [iface: default, target: iqn.2016-07.com.example:server.disk, portal: 172.25.30.3,3260] successful.

[root@server1 ~]# fdisk -l

server2上配置和server1上的相同。

[root@server1 ~]# iscsiadm -m discovery -t st -p 172.25.30.3

Starting iscsid:                                           [  OK  ]

172.25.30.3:3260,1 iqn.2016-07.com.example:server.disk

[root@server1 ~]#  iscsiadm -m node -l

Logging in to [iface: default, target: iqn.2016-07.com.example:server.disk, portal: 172.25.30.3,3260] (multiple)

Login to [iface: default, target: iqn.2016-07.com.example:server.disk, portal: 172.25.30.3,3260] successful.

[root@server1 ~]# fdisk -l

此时，server1和server2上均出现一块共享盘/dev/sdb,然后在server1上对该共享磁盘进行分区格式化。

[root@server1 ~]# fdisk -cu /dev/sdb

Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel

Building a new DOS disklabel with disk identifier 0xbb3b10c8.

Changes will remain in memory only, until you decide to write them.

After that, of course, the previous content won't be recoverable.

 

Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)

 

Command (m for help): n

Command action

   e   extended

   p   primary partition (1-4)

p

Partition number (1-4): 1

First sector (2048-16777215, default 2048): 

Using default value 2048

Last sector, +sectors or +size{K,M,G} (2048-16777215, default 16777215): 

Using default value 16777215

 

Command (m for help): p

 

Disk /dev/sdb: 8589 MB, 8589934592 bytes

64 heads, 32 sectors/track, 8192 cylinders, total 16777216 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0xbb3b10c8

 

   Device Boot      Start         End      Blocks   Id  System

/dev/sdb1            2048    16777215     8387584   83  Linux

 

Command (m for help): w

The partition table has been altered!

 

Calling ioctl() to re-read partition table.

Syncing disks.

分区完成后，生成一块/dev/sdb1磁盘，在server2上无需再分区，只需要同步便可得到该磁盘。

[root@server2 ~]# partprobe 

[root@server2 ~]# cat /proc/partitions 

major minor  #blocks  name

 

   8        0    8388608 sda

   8        1     512000 sda1

   8        2    7875584 sda2

 253        0    7036928 dm-0

 253        1     835584 dm-1

   8       16    8388608 sdb

   8       17    8387584 sdb1

[root@server2 ~]# ll /dev/sdb1

brw-rw---- 1 root disk 8, 17 7月  19 16:17 /dev/sdb1

同步完成后在server1上对/dev/sdb1进行格式化

[root@server1 ~]# mkfs.ext4 /dev/sdb1

格式化完成后将该数据库加入

[root@server1 ~]# crm 

crm(live)# configure 

crm(live)configure# primitive webdata ocf:heartbeat:Filesystem params device=/dev/sdb1 directory=/var/www/html fstype=ext4 op monitor interval=1min

crm(live)configure# commit

WARNING: webdata: default timeout 20s for start is smaller than the advised 60

WARNING: webdata: default timeout 20s for stop is smaller than the advised 60

WARNING: webdata: default timeout 20s for monitor is smaller than the advised 40

crm(live)configure# show

node server1.example.com

node server2.example.com

primitive vip ocf:heartbeat:IPaddr2 \

params ip="172.25.30.100" cidr_netmask="32" \

op monitor interval="30s"

primitive vmfence stonith:fence_xvm \

params pcmk_host_map="server1.example.com:base1;server2.example.com:base2" \

op monitor interval="1min"

primitive webdata ocf:heartbeat:Filesystem \

params device="/dev/sdb1" directory="/var/www/html" fstype="ext4" \

op monitor interval="1min"

primitive website ocf:heartbeat:apache \

params configfile="/etc/httpd/conf/httpd.conf" \

op monitor interval="1min"

colocation website-with-ip inf: website vip

property $id="cib-bootstrap-options" \

dc-version="1.1.10-14.el6-368c726" \

cluster-infrastructure="classic openais (with plugin)" \

expected-quorum-votes="2" \

no-quorum-policy="ignore"

 

[root@server2 ~]# crm_mon

crm(live)configure# group apacheservice vip webdata website 

INFO: resource references in colocation:website-with-ip updated

INFO: resource references in colocation:website-with-ip updated

crm(live)configure# cd 

There are changes pending. Do you want to commit them? Yes

[root@server2 ~]# crm_mon

crm(live)# resource

crm(live)resource# show

 



liyao130608
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux查看ha服务,Linux 高可用（HA）集群之Corosync详解
weixin_32047035的博客
05-04 1887
大纲一、Corosync 概述二、Corysync与Pacemaker 安装三、Corosync 详细配置四、Corosync 启动信息推荐阅读：一、Corosync 概述1.简单概述要说明corosync的由来，首先我们得从AIS说起，然后说明OpenAIS，最后才会说到corosync。2.AIS概述应用接口规范(AIS)是用来定义应用程序接口(API)的开放性规范的集合，这些应用程序作为中间...
linux 高可用(ha)集群之corosync,Linux 高可用(HA)集群之Corosync 详解
weixin_42504649的博客
05-14 618
Linux 高可用(HA)集群之Corosync 詳解大綱一、Corosync概述二、Corysync與Pacemaker安裝三、Corosync詳細配置四、Corosync啟動信息一、Corosync概述1.簡單概述要說明corosync的由來，首先我們得從AIS說起，然後說明OpenAIS，最後才會說到corosync。2.AIS概述應用介面規範(AIS)是用來定義應用程式介面(API)的開放...
HAProxy实现负载均衡及高可用集群（corosync+pacemaker）_使用pacemaker+corosync+haproxy的高可用方案实现云集群多管理节点互相备份冗余(2)
最新发布
2301_79058150的博客
04-28 329
当关闭某一个服务器的http服务时如下：说明其具有对后端服务器健康检查的功能status的加密访问。
pacemaker+corosync的一些总结
danns888的专栏
05-31 1255
corosync：只有对Messaging Layer的实现，本身不具备resource的原理，需要和pacemaker的RA搭配使用，简单来讲coyosync就是通过发送广播包，确认对方是否还存活（心跳确认） /etc/corosync/corosync.conf 这里配置多个心跳线，如果node节点有多个网卡，可以配置多个心跳线来提高可用性. totem { version: 2 rrp_mode: active token: 15000 .
Corosync双心跳冗余方案配置
专注于大数据领域相关技术推广、学习、交流和合作。
10-16 901
在现实实际生产应用中，部分集群内部通常采用一条心跳链路来实现底层各节点间的消息通信，但在某些特殊情况下，因网络抖动或网络不通等要素的影响，会导致该条心跳链路不通，进而使得该节点脱离集群，无法继续承担正常业务，这显然是我们不想看到的，也是我们需要极力避免的情况。因而，寻找双心跳冗余方案就显得很有必要，
Corosync + pacemaker 高可用部署设计方案
05-25
在IT领域，尤其是在服务器集群和高可用性(High Availability, HA)系统的设计中，Corosync和Pacemaker是两个非常关键的组件。这个“Corosync + pacemaker 高可用部署设计方案”提供了详细的步骤和资源，帮助我们理解...
corosync-1.4.9.tar.gz
01-17
《Corosync 1.4.9：集群同步与高可用性的基石》 在IT行业中，高可用性和数据一致性是关键需求，特别是在大型分布式系统和云计算环境中。Corosync（Cluster Operating System Synchronization）就是这样一款解决此类...
pacemaker-corosync-formula
07-16
"起搏器-corosync-公式"是一个专用于高可用性集群环境的配置工具，它主要结合了Pacemaker和Corosync两个组件，旨在确保关键服务在多台服务器之间的稳定运行和故障转移。Pacemaker是Linux系统中的一个集群管理引擎，...
corosync.conf
08-11
corosync通信集群配置文件说明. corosync.conf - corosync executive configuration file
Corosync 集群组件总结
11-30
LINUX Corosync 集群组件安装调试总结
高可用集群技术之corosync应用详解(一)
weixin_34355715的博客
08-15 653
Corosync概述:Corosync是集群管理套件的一部分，它在传递信息的时候可以通过一个简单的配置文件来定义信息传递的方式和协议等。它是一个新兴的软件，2008年推出，但其实它并不是一个真正意义上的新软件，在2002年的时候有一个项目Openais , 它由于过大，分裂为两个子项目，其中可以实现HA心跳信息传输的功能就是Corosync ,它的代码60%左右来源于Open...
pacemaker+corosync搭建高可用集群
minxihou的博客
06-04 5265
前言：由于测试需要所以开始逐渐学习HA相关部分的知识，并且总结成笔记分享。这里为什么我不直接开始从介绍说起，因为我自己觉得现在对于我而言理解pacemaker还过于肤浅，盲目的写简介不是我的初衷。在写完部署和常用资源上线之后我可能会从头考虑把介绍不上。秉着学以致用的原则这里直接开始写如何搭建pacemaker并且troubleshooting常见的搭建问题。 （ps：网上很多的博文都是用ubunt
Linux高可用之Corosync
qq_45070541的博客
11-21 897
Linux高可用之Corosync
Pacemaker
XMJDCH的博客
01-22 707
Pacemaker
corosync编程指南
growdu的网络博客
10-25 720
corosync编程指南。
LINUX 高可用群集之 ~Corosync~
chuifuhuo6864的博客
07-29 450
Corosync：它属于OpenAIS(开放式应用接口规范)中的一个项目corosync一版本中本身不具 备投票功能，到了corosync 2.0之后引入了votequorum子系统也具备了投票功能了，如果我们用的是1版本的，又需要用到票数做决策时那该如何是好呢；当然，在红帽上把 cman +...
NGINX高可用之keepalived+nginx主从模式+主主模式配置实践
小小默：进无止境
06-29 8548
【1】基础环境准备 两台服务器：192.168.88.129 192.168.88.130，每台服务器上分别安装nginx 、keepalived。 安装nginx教程参考博文：CentOS 7下使用yum安装Nginx ，源码方式安装nginx。 安装keepalived可使用yum直接安装：yum -y install keepalived ......
【项目实战4】高可用——利用pacemaker与心跳corosync实现双机热备
weixin_48819467的博客
07-12 1812
双机热备----------集群资源管理器pacemaker与心跳corosync一、 概念性知识二、实验准备三、设定免密登陆四、设定yum源1.先在server1中设定yum源2.将server1的yum源发送给其他四个server虚拟机五、安装启动软件，设定密码1.下载软件2.设置用户六、核心部分：实现高可用集群1.认证服务2.启动HA心跳信息corosync，集群资源管理器pacemaker3.查看pcs状态4.启动集群5.检测心跳服务安装情况七、集群服务添加虚拟的ip，添加监控1. 停掉fence服
Linux(HA)高可用集群框架及Corosync详解
Field_Yang的博客
08-05 6160
Linux(HA)高可用集群框架及Corosync详解 集群系统：高可扩展性、高可用性、高性能、高性价比 一、Linux HA cluster架构 1.集群扩展方式： 1).scale on:向上扩展，即升级服务器硬件 扩大服务器的内存容量、增加cpu数量，在一定的范围内能增大服务器性能。 缺点:随着cpu个数的增加需要给CPU仲裁，此外CPU个数的增加会增大资源的竞争性， 所以超出...
pcs pacemaker corosync
10-09
Corosync通过多播和单播等机制在集群节点之间传输消息和状态信息，并且在集群中实现了群集协调和一致性。Corosync还提供了一个灵活的插件架构，可以支持不同的集群配置和和通信协议。 PCS Pacemaker Corosync通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值