存储高可用 -- keepalived+DRBD+NFS高可用共享存储

最新推荐文章于 2024-04-11 17:02:44 发布
最新推荐文章于 2024-04-11 17:02:44 发布
阅读量1.1k 收藏 9
点赞数 1
分类专栏： 存储 文章标签： 存储高可用 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XY0918ZWQ/article/details/114577352
版权

keepalived+DRBD+NFS高可用共享存储

一、BRBD 环境部署

环境准备
配置 hosts解析

---node01
[root@node02 ~]# vim  /etc/hosts +
192.168.5.11 node01
192.168.5.12 node02

---node02
[root@node02 ~]# vim  /etc/hosts +
192.168.5.11 node01
192.168.5.12 node02

配置 免密钥互信

---node01
[root@node01 ~]# ssh-keygen -f ~/.ssh/id_rsa -P '' -q
[root@node01 ~]# ssh-copy-id node01
[root@node01 ~]# ssh-copy-id node02

---node02
[root@node02 ~]# ssh-keygen -f ~/.ssh/id_rsa -P '' -q
[root@node02 ~]# ssh-copy-id node01
[root@node02 ~]# ssh-copy-id node02

配置 DRBD yum 源

---node01
[root@node01 ~]# vim /etc/yum.repos.d/drbd.repo 
[drbd]
name=drbd
baseurl=https://mirrors.tuna.tsinghua.edu.cn/elrepo/elrepo/el7/x86_64/
gpgcheck=0

---node02
[root@node02 ~]# vim /etc/yum.repos.d/drbd.repo 
[drbd]
name=drbd
baseurl=https://mirrors.tuna.tsinghua.edu.cn/elrepo/elrepo/el7/x86_64/
gpgcheck=0

安装 DRBD

[root@node01 ~]# yum install -y drbd84-utils kmod-drbd84
[root@node01 ~]# yum install -y drbd84-utils kmod-drbd84

加载内核

---node01
[root@node01 ~]# lsmod | grep drbd
[root@node01 ~]# modprobe drbd
[root@node01 ~]# lsmod | grep drbd
drbd                  397041  0 
libcrc32c              12644  2 xfs,drbd

---node02
[root@node02 ~]# lsmod | grep drbd
[root@node02 ~]# modprobe drbd
[root@node02 ~]# lsmod | grep drbd
drbd                  397041  0 
libcrc32c              12644  2 xfs,drbd

修改 DRBD 配置文件

[root@node01 ~]# vim /etc/drbd.d/global_common.conf 
# DRBD is the result of over a decade of development by LINBIT.
# In case you need professional services for DRBD or have
# feature requests visit http://www.linbit.com

global {
	usage-count no;

	# Decide what kind of udev symlinks you want for "implicit" volumes
	# (those without explicit volume <vnr> {} block, implied vnr=0):
	# /dev/drbd/by-resource/<resource>/<vnr>   (explicit volumes)
	# /dev/drbd/by-resource/<resource>         (default for implict)
	udev-always-use-vnr; # treat implicit the same as explicit volumes

	# minor-count dialog-refresh disable-ip-verification
	# cmd-timeout-short 5; cmd-timeout-medium 121; cmd-timeout-long 600;
}

common {
        protocol C;
	handlers {
		# These are EXAMPLE handlers only.
		# They may have severe implications,
		# like hard resetting the node under certain circumstances.
		# Be careful when choosing your poison.

		pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
		pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
		local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
		# fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
		# split-brain "/usr/lib/drbd/notify-split-brain.sh root";
		# out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
		# before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
		# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
		# quorum-lost "/usr/lib/drbd/notify-quorum-lost.sh root";
	}

	startup {
		# wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
	}

	options {
		# cpu-mask on-no-data-accessible

		# RECOMMENDED for three or more storage nodes with DRBD 9:
		# quorum majority;
		# on-no-quorum suspend-io | io-error;
	}

	disk {
                on-io-error detach;
		# size on-io-error fencing disk-barrier disk-flushes
		# disk-drain md-flushes resync-rate resync-after al-extents
                # c-plan-ahead c-delay-target c-fill-target c-max-rate
                # c-min-rate disk-timeout
	}

	net {
               	cram-hmac-alg "sha1";
		shared-secret "nfs-HA";
		allow-two-primaries;
	}
        	syncer { rate 1000M; }
}

[root@node01 ~]# vim /etc/drbd.d/nfs.res 
resource nfs {
  meta-disk internal;
  device /dev/drbd1;
  disk /dev/nfs/share; 
  
  on node01 {
	address 192.168.5.11:7789;
  }

  on node02 {
	address 192.168.5.12:7789;
  }
}


[root@node01 ~]# scp /etc/drbd.d/* node02:/etc/drbd.d/

LVM 格式化

---node01
[root@node01 ~]# vgcreate nfs /dev/sdb
[root@node01 ~]# lvcreate --size 2G --name share nfs

---node02
[root@node01 ~]# vgcreate nfs /dev/sdb
[root@node01 ~]# lvcreate --size 2G --name share nfs

创建用户

---node01
[root@node01 ~]# useradd -M -s /sbin/nologin haclient
[root@node01 ~]# chgrp haclient /lib/drbd/drbdsetup-84
[root@node01 ~]# chmod o-x /lib/drbd/drbdsetup-84
[root@node01 ~]# chmod u+s /lib/drbd/drbdsetup-84
[root@node01 ~]# chgrp haclient /usr/sbin/drbdmeta
[root@node01 ~]# chmod o-x /usr/sbin/drbdmeta
[root@node01 ~]# chmod u+s /usr/sbin/drbdmeta

---node02
[root@node02 ~]# useradd -M -s /sbin/nologin haclient
[root@node02 ~]# chgrp haclient /lib/drbd/drbdsetup-84
[root@node02 ~]# chmod o-x /lib/drbd/drbdsetup-84
[root@node02 ~]# chmod u+s /lib/drbd/drbdsetup-84
[root@node02 ~]# chgrp haclient /usr/sbin/drbdmeta
[root@node02 ~]# chmod o-x /usr/sbin/drbdmeta
[root@node02 ~]# chmod u+s /usr/sbin/drbdmeta

激活资源

[root@node01 ~]# drbdadm create-md data
[root@node02 ~]# drbdadm create-md data

查看 DRBD 状态

node01
在这里插入图片描述
node02
在这里插入图片描述
node01 强制升级

drbdadm -- --force primary nfs

再次查看 DRBD 状态

node01
在这里插入图片描述
node02
在这里插入图片描述
格式化、挂载 DRBD

[root@node01 ~]# mkdir data
[root@node01 ~]# mkfs.xfs /dev/drbd1
[root@node01 ~]# mount /dev/drbd1 data

查看挂载
在这里插入图片描述
DRBD 挂载 网络数据同步情况

[root@node01 ~]# echo "123" > data/a.txt
[root@node01 ~]# cat data/a.txt
123

二、配置 NFS 共享存储

---node01
[root@node01 ~]# yum -y install rpcbind nfs-utils
[root@node01 ~]# vim /etc/exports
[root@node01 ~]# systemctl start rpcbind
[root@node01 ~]# systemctl start nfs

---node02
[root@node02 ~]# yum -y install rpcbind nfs-utils
[root@node02 ~]# systemctl start rpcbind
[root@node02 ~]# systemctl start nfs

三、Keepalived 实现集群高可用

安装 keepalived

[root@node01 ~]# yum install keepalived -y
[root@node02 ~]# yum install keepalived -y

修改keepalived 配置文件

[root@node01 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
  notification_email {
	root@localhost
	}
	 
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id DRBD_HA_MASTER
}
	 
vrrp_script chk_nfs {
		script "/etc/keepalived/check_nfs.sh"
		interval 5
	}
	vrrp_instance VI_1 {
		state MASTER
		interface ens33
		virtual_router_id 51
		priority 100
		advert_int 1
		authentication {
			auth_type PASS
			auth_pass 1111
		}
		track_script {
			chk_nfs
		}
	notify_stop /etc/keepalived/notify_stop.sh       
	notify_master /etc/keepalived/notify_master.sh   
	virtual_ipaddress {
		192.168.5.100
	}
}

提供 Keepalived + DRBD 集群脚本

---node01
[root@node01 ~]# mkdir /etc/keepalived/logs
[root@node01 ~]# vim /etc/keepalived/check_nfs.sh
/sbin/service nfs status &>/dev/null
if [ $? -ne 0 ];then
   /sbin/service nfs restart
   /sbin/service nfs status &>/dev/null
   if [ $? -ne 0 ];then
      umount /dev/drbd1
      drbdadm secondary nfs
      /sbin/service keepalived stop
   fi
fi

[root@node01 ~]# vim /etc/keepalived/notify_master.sh
#!/bin/bash
  
time=`date "+%F  %T"`
echo -e "$time    ------notify_master------\n" >> /etc/keepalived/logs/notify_master.log
/sbin/drbdadm primary nfs &>> /etc/keepalived/logs/notify_master.log
/bin/mount /dev/drbd1 data &>> /etc/keepalived/logs/notify_master.log
/sbin/service nfs restart &>> /etc/keepalived/logs/notify_master.log
echo -e "\n" >> /etc/keepalived/logs/notify_master.log

[root@node01 ~]# vim /etc/keepalived/notify_stop.sh 
#!/bin/bash
time=`date "+%F  %H:%M:%S"`
echo -e "$time  ------notify_stop------\n" >> /etc/keepalived/logs/notify_stop.log
/sbin/service nfs stop &>> /etc/keepalived/logs/notify_stop.log
/bin/umount data &>> /etc/keepalived/logs/notify_stop.log
/sbin/drbdadm secondary nfs &>> /etc/keepalived/logs/notify_stop.log
echo -e "\n" >> /etc/keepalived/logs/notify_stop.log

[root@node01 ~]# chmod +x /etc/keepalived/*.sh
[root@node01 ~]# ll /etc/keepalived/*.sh
-rwxr-xr-x 1 root root 248 Mar  9 14:06 /etc/keepalived/check_nfs.sh
-rwxr-xr-x 1 root root 389 Mar  9 14:07 /etc/keepalived/notify_master.sh
-rwxr-xr-x 1 root root 367 Mar  9 14:09 /etc/keepalived/notify_stop.sh

[root@node01 ~]# scp /etc/keepalived/* node02:/etc/keepalived/

---node02
[root@node02 ~]# mkdir /etc/keepalived/logs

启动 keepalived 服务

[root@node01 ~]# systemctl start keepalived.service
[root@node02 ~]# systemctl start keepalived.service

查看 VIP

node01
在这里插入图片描述
node02
在这里插入图片描述

四、测试

1、模拟 NFS 服务故障

node01
在这里插入图片描述
node02
在这里插入图片描述
实现 NFS 故障 恢复！

2、测试 keepalived 故障

MASTER keepalived 故障
在这里插入图片描述
在这里插入图片描述

node02
在这里插入图片描述
在这里插入图片描述

MASTER keepalived 故障恢复
在这里插入图片描述
node02
在这里插入图片描述
实现 Keepalived VIP 漂移！

Wan@Technology Stack
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于docker-compose实现haproxy+keepalived+teleport的负载均衡和高可用1
08-04
主机名IP地址操作系统组件备注环境说明架构图目录结构配置文件docker-compose配置文件keepalived配置文件keepalived检测脚本hapr
Keepalived+Drbd+nfs实现高可用共享存储
m0_64940629的博客
08-15 252
4、nfs测试：关闭主节点，查看备节点此时情况（ip实现漂移，资源重新挂载，资源角色切换）补充：一些常用的命令：（都需要在命令后加上资源名）（3）启动初始化全量同步（在主节点上启动）5、修改全局配置文件（两台机器都执行）6、修改资源文件（两台机器都执行）2、查看资源的角色（一主一从）（1）创建元数据（两台都要配）1、查看vip（是否可以漂移）3、查看挂载（只会在一端过滤）（2）启用资源（两台都要配）4、启动drbd的内核模块。当master出现故障，1、导入elrepo源。
使用DRBD+KEEPALIVED来实现NFS高可用
08-18 344
目录 一 DRBD介绍 二 DRBD的模式 三 DRBD的同步协议 四 实验环境 五 安装配置 关于脑裂(split-brain)处理 一 DRBD介绍 DRBD（Distributed ReplicatedBlock De...
drbd+keepalived nfs高可用方案实践
奋进的K
10-19 5971
实验环境系统CentOS 6.5 X64 Ip：172.16.25.162 172.16.25.163 epel源 每台主机有/dev/sdb1: 1073 MB挂载点/test供drbd使用 先升级nfs先关组件： yum updatenfs-utilsnfs-utils-lib nfs4-acl-tools yum updaterpcbind 一、安装配置安装配置drbd：[r
keepalived2.2.8+drbd9+nfs高可用存储部署
最新发布
树下一少年的博客
04-11 435
关机状态下进行（开机状态下新增后需要重启）如果没有特殊名称要求，直接都点下一步即可，两台设备都做。备keepalived+drbd：192.168.2.133（serverc）主keepalived+drbd：192.168.2.130（main）初始化过程在9版本用watch drbdadm status 资源名称看。刚安装完成两台设备应该都是secondary，主备手动升级身份。先在主备降级并卸载后到备设备升级挂载。
Keepalived+NFS+DRBD
NancyLCL的博客
10-28 790
" 共享存储DRBD的部署和配置 "系统盘sda:20G。存储盘sdb:20G。系统盘sda:20G。存储盘sdb:20G。
Keepalived+redis高可用主从-Keepalived的配置
01-07
Keepalived+redis高可用主从，本技术文档主要是Keepalived的配置，redis主从配置可以看我的文章https://blog.csdn.net/qq_41709494/article/details/116382183
Keepalived+Nginx+Tomcat 高可用集群搭建实战记录
04-02
使用keepalived来配置nginx的高可用，搭建一遍记录下，顺便尝试下nginx与tomcat的集群部署，供大家参考。
lvs+Keepalived+nginx高可用负载均衡搭建部署方案
05-24
lvs+Keepalived+nginx高可用负载均衡搭建部署方案
MariaDB+Keepalived双主高可用配置MySQL-HA
01-30
利用keepalived构建高可用MySQL-HA，保证两台MySQL数据的一致性，然后用keepalived实现虚拟VIP，通过keepalived自带的服务监控功能来实现MySQL故障时自动切换。硬件拓扑如下：操作系统：CentOSrelease6.3（32位）...
drbd+keepalived高可用nfs
weixin_42162725的博客
12-03 559
liuguohui2006@黑暗阳光 实验环境：三台centos7.2虚拟机 网络配置：192.168.1.73 （测试主机），192.168.1.74和192.168.1.75 （用来实现高可用nfs） 实验前配置：关闭iptables和selinux服务，主机要时间同步，配置nfs的两台主机要实现基于密钥的ssh认证。 #192.168.1.74主机上的配置 一.配置nfs服务 1.安装nfs...
NFS高可用部署
weixin_52852276的博客
02-08 2935
部署NFS双机热备高可用环境，用作K8S容器集群的远程存储，实现K8S数据持久化
NFS高可用方案：NFS+keepalived+Sersync
jiang0615csdn的博客
10-27 4927
nfs+keepalived+serync实现nfs的高可用
【CentOS7搭建keepalived+DRBD+NFS高可用共享存储】
小小Python的博客
08-29 1148
一、CentOS7搭建keepalived+DRBD+NFS高可用共享存储 环境准备：在两台主机上各添加一块硬盘 [root@node1 ~]# lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 20G 0 disk ├─sda1 8:1 0 1G 0 part /boot └─sda2 8:2 0 19G 0
CentOS7搭建keepalived+DRBD+NFS高可用共享存储
mantangjojo的博客
11-06 491
3、安装软件 （如果没有yum源，则需要先配置yum源）2个节点创建挂载点目录：mkdir /data。主节点：mkfs.xfs /dev/drbd0。centos7.9镜像 2台主机。1、关闭防火墙，禁用SELinux（2台）2、配置hosts文件（2台）等待一段时间进行检查同步情况。在从上执行以下命令确认文件。卸载文件系统并切换为备节点。配置2台服务器之间的免密。将配置传送到node2。
NFS （NAS 网络存储）DRBD高可用
老实人的博客
03-04 860
NFS （NAS 网络存储）DRBD高可用 安装准备 服务器信息 IP地址 角色、主机名 192.168.1.97 nfs-master.host.com 192.168.1.98 nfs-backup.host.com 192.168.1.10 keepalived VIP 系统信息 Static hostname: nfs-master.host.com Icon name: computer-vm Chassis: v
k8s+nfs高可用集群
贾文超的博客
09-09 6028
nfs高可用集群做后端存储和k8s的结合使用
nfs高可用实践
qq_41134073的博客
12-08 662
离线环境搭建nfs高可用
nginx高可用 keepalived + lvs
08-25
keepalived可以将多台服务器组成一个虚拟的高可用集群，其中一台服务器作为主服务器（Master），其他服务器作为备份服务器（Backup）。keepalived通过监控主服务器的状态，当主服务器宕机时，会自动将备份服务器切换...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值