NFS HA架构部署(NFS + Pacemaker + Corosync + DRBD)

NFS HA架构部署(NFS + Pacemaker + Corosync + DRBD)

 

环境：kvm虚拟机2台

OS：CentOS7.6

Kernel: Linux 3.10.0-957.21.3.el7.x86_64

IP地址      主机名

192.9.200.25   centos7v6a    节点一

192.9.200.26   centos7v6b    节点二

两台服务器上都有一个大小相同的硬盘 /dev/vdb

 

 

1、安装DRBD（Distributed Replicated Block Device，分布式复制块设备）

 

从官方下载源码：

# curl -O https://www.linbit.com/downloads/drbd/9.0/drbd-9.0.18-1.tar.gz\\\

# curl -O https://www.linbit.com/downloads/drbd/utils/drbd-utils-9.10.0.tar.gz

 

解压，编译，安装

# tar drbd-utils-9.10.0.tar.gz

# cd drbd-utils-9.10.0/

# yum -y install flex po4a

# ./configure --prefix=/opt/drbd-utils --without-83support --without-84support --with-pacemaker --with-rgmanager --with-bashcompletion --with-initdir

# make && make install

 

# tar xf drbd-9.0.18-1.tar.gz

# cd drbd-9.0.18-1/

# yum -y install kernel-devel

# make KDIR=/usr/src/kernels/3.10.0-957.21.3.el7.x86_64

# make install

 

# modprobe drbd 加载drbd模块

# lsmod |grep drbd 加快模块是否加载

# echo drbd >/etc/modules-load.d/drbd.conf 开机加载此模块

 

2、配置

 

配置hosts 文件：

# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.9.200.25 centos7v6a

192.9.200.26 centos7v6b

 

配置drbd.conf 文件：

# cd /opt/drbd-utils/etc

 

# ls

bash_completion.d drbd.conf drbd.d xen

 

# cat drbd.conf

# You can find an example in /usr/share/doc/drbd.../drbd.conf.example

include "drbd.d/global_common.conf";

include "drbd.d/*.res";

 

# cat global_common.conf

global {

usage-count no;

}

 

common {

startup {

wfc-timeout 120;

degr-wfc-timeout 120;

}

 

disk {

resync-rate 10M;

}

 

net {

protocol C;

timeout 60;

  connect-int 10;

  ping-int 10;

}

}

 

# cat r0.res

resource r0 {

on centos7v6a {

device /dev/drbd1;

disk /dev/vdb1;

address 192.9.200.25:7789;

meta-disk internal;

}

 

on centos7v6b {

device /dev/drbd1;

disk /dev/vdb1;

address 192.9.200.26:7789;

meta-disk internal;

}

}

防火墙设置：

firewall-cmd --permanent --add-port=7789/tcp

firewall-cmd --reload 

 

节点一，节点二都做同样配置。

 

接下来同步块数据

#drbdadm create-md r0 //建立 drbd resource

#drbdadm up r0 //启动 resource r0

#drbdadm primary --force r0 //设置节点一为主节点

 

两个节点都启动drbd.service

systemctl start drbd.service

systemctl enable drbd.service

这里会等待其他服务器也start，操作第一台后，马上启动第二台。

 

r0状态查看

# drbdadm dstate r0

UpToDate/UpToDate

创建DRBD文件系统，以下仅在节点一上操作

mkfs.xfs  /dev/drbd1

注： drbd 设备只能在 Primary 端使用，为避免误操作，当机器重启后，默认都处于 Secondary 状态，如要使用drbd设备，需手动把其设置为Primary。primary正常时，在secondary上挂载drbd设备会出现下面的错误：

# mount /dev/drbd1 /share

mount: /dev/drbd1 写保护，将以只读方式挂载

mount: 将 /dev/drbd1 挂载到 /share 失败: 错误的介质类型

 

在从节点上进行挂载  

 

1、将主节点drbd的状态变为从  

umount /share

drbdadm secondary all  

 

2、在从节点上进行挂载  

drbdadm primary all  

mount  /dev/drbd1  /share

 

测试

节点一：

cp anaconda-ks.cfg /share/ks.cfg

umount /share

drbdadm secondary all

 

节点二：

drbdadm primary all

mount /dev/drbd1 /share

观察是否同步

#ls /share/

ks.cfg

注意：必须先umount，否则出错。

# drbdadm secondary all

r0: State change failed: (-12) Device is held open by someone

additional info from kernel:

/dev/drbd1 opened by mount (pid 13506) at 2019-07-01 08:48:03.408

Command 'drbdsetup secondary r0' terminated with exit code 11

 

 

3、Pacemaker 安装

 

节点一：192.9.200.25  centos7v6a

节点二&