Note：以下为NFS+DRBD+HEARTBEAT快速实施文档，若要用于生产环境，请仔细阅读官方文档并结合实际业务调整参数，涉及数据部署请慎重！！！

（个人建议：在基于个人熟悉服务的情况下并通过测试环境才可在线上使用。）

存储高可用

NFS+DRBD+HEARTBEAT快速实施方案

环境：

nfs-utils-1.2.3-75.el6_9.x86_64

heartbeat-3.0.4-2.el6.x86_64

drbd84-utils-8.9.8-1.el6.elrepo.x86_64

CentOS release 6.7 (Final)

2.6.32-573.el6.x86_64

x86_64

 

 

规划表：

名称

接口

IP

用途

Master

eth0

10.0.0.31

管理IP


eth1

172.16.1.31

心跳线

Backup

eth0

10.0.0.32

管理IP


eth1

172.16.1.32

心跳线

VIP

eth0

10.0.0.30

提供NFS存储服务IP

 

以下操作除特殊说明外，均为在两台服务器操作

1.     初始化

关闭selinux,iptables

配置主机名，/etc/hosts，/etc/sysconfig/network，配置网络配置

2.     分区

parted /dev/sdb mklabel gpt

parted /dev/sdb mkpart primary 0 1024

parted /dev/sdb mkpart primary 1025 2146

parted /dev/sdb p

3.     主NFS格式化/dev/sdb1，从NFS不需要格式化（特殊说明）

mkfs.ext4 /dev/sdb1

 

4.     安装DRBD

rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm

yum install -y drbd84-utils kmod-drbd84

5.     初始化DRBD

modprobe drbd

6.     创建配置资源文件/etc/drbd.d/r0.res

resource r0 {
  net {
    protocol C;
    cram-hmac-alg "sha1";
    shared-secret "c4f9375f9834b4e7f0a528cc65c055702bf5f24a";
}
  device      /dev/drbd0;
  disk        /dev/sdb1;
  meta-disk   /dev/sdb2[0];
  on nfs {
    address     172.16.1.31:7788;
  }
  on nfs-s {
    address     172.16.1.32:7788;
  }
}

7.     初始化drbd设备

drbdadm create-md r0

drbdadm up r0

cat /proc/drbd

8.     将nfs提升为主，从nfs不需要操作（特殊说明）

drbdadm -- --overwrite-data-of-peer primary r0

9.     将nfs的drbd0格式化以供挂载使用，从nfs不需要操作（特殊说明）

mkfs.ext4 /dev/drbd0

10.   测试挂载

mkdir /data

mount /dev/drbd0 /data

 

至此，drbd安装完毕，下面安装nfs

 

1.     安装NFS

yum install -y rpcbind nfs-utils

2.     编辑配置文件

echo "/data 10.0.0.0/24(rw,sync,anonuid=502,anongid=502,all_squash)" >/etc/exports

3.     创建nginx用户 uid,gid均为502,并将共享目录/data授权所有者为nginx

useradd -s /sbin/nologin -u 502 -M nginx

chown -R nginx.nginx /data

4.     启动nfs服务

/etc/init.d/rpcbind start

/etc/init.d/nfs start

 

至此，NFS安装完毕，下面安装heartbeat

 

1.     安装heartbeat

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

yum repolist

yum install -y heartbeat

2.     将默认的配置文件拷贝至/etc/ha.d/并作更改

修改第一个配置文件：/etc/ha.d/ha.cf

cat >/etc/ha.d/ha.cf<<EOF
logfile /var/log/ha-log
logfacility      local0
keepalive 2
deadtime 30
warntime 10
initdead 60
mcast eth0 225.0.0.31 694 1 0
auto_failback on
node nfs
node nfs-s
EOF

修改第二个配置文件：/etc/ha.d/authkeys

cat >/etc/ha.d/authkeys <<EOF
auth 1
1 sha1 c4f9375f9834b4e7f0a528cc65c055702bf5f24a
EOF

chmod 600 /etc/ha.d/authkeys

修改第三个配置文件：/etc/ha.d/haresources

cat >/etc/ha.d/haresources<<EOF
nfs 10.0.0.30 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext4 nfs
EOF

3.     启动heartbeat

/etc/init.d/heartbeat start

 

至此，NFS+DRBD+HEARTBEAT高可用存储搭建完毕！