NFS （NAS 网络存储）DRBD高可用

最新推荐文章于 2024-05-21 23:24:51 发布
最新推荐文章于 2024-05-21 23:24:51 发布
阅读量884 收藏 1
点赞数
分类专栏： Linux 运维 文章标签： NAS linux DRBD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011607971/article/details/114360278
版权

NFS （NAS 网络存储）DRBD高可用

安装准备

  • 服务器信息
IP地址角色、主机名
192.168.1.97nfs-master.host.com
192.168.1.98nfs-backup.host.com
192.168.1.10keepalived VIP
  • 系统信息
    Static hostname: nfs-master.host.com
         Icon name: computer-vm
           Chassis: vm
        Machine ID: d0a403dc7abd4a78b64dc5b22e4db7b4
           Boot ID: 164d9d5c045f4c2f9496aa40326b38a2
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-1127.el7.x86_64
      Architecture: x86-64
  • 共享目录配置
Master 与 Bakcup 使用相同路径 /private_data
  • 系统初始化
cat >> /etc/sysctl.d/nfs.conf << EOF
vm.overcommit_memory = 1
net.ipv4.ip_local_port_range = 1024 65536
net.ipv4.tcp_fin_timeout = 1
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_abort_on_overflow = 0
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.ipv4.netfilter.ip_conntrack_max = 2097152
net.nf_conntrack_max = 655360
net.netfilter.nf_conntrack_tcp_timeout_established = 1200
EOF
/sbin/sysctl -p /etc/sysctl.d/nfs.conf
# 执行如果出现报错（nf_conntrack_max no such file or directory）执行（modprobe ip_conntrack）重新/sbin/sysctl -p /etc/sysctl.d/nfs.conf即可

安装配置DRBD与 NFS

以下安装在 2 台服务器执行

  • 安装 nfs
yum -y install nfs-utils rpcbind
  • 配置安装DRBD
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh https://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
yum install drbd84 kmod-drbd84 -y

  • 加载模块

    modprobe drbd
#查看模块是否加载上了
lsmod |grep drbd

  • 查看修改配置文件

    # You can find an example in  /usr/share/doc/drbd.../drbd.conf.example

#include "drbd.d/global_common.conf";
include "drbd.d/*.res";

  • 添加资源配置文件

        global {
        usage-count yes;
        #是否参与DRBD使用者统计，默认为yes
}

common {
        syncer { rate 30M; }
}
#设置主备节点同步的网络速率最大值，默认单位是字节，我们可以设定为兆
    
resource r0 {
        #r0为资源名，我们在初始化磁盘的时候就可以使用资源名来初始化。
        protocol C;
        #使用 C 协议。
        handlers {
            pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f ";  
            pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt ";
            local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
            fence-peer "/usr/lib4/heartbeat/drbd-peer-outdater -t 5";
            pri-lost "echo pri-lst. Have a look at the log file.mail -s 'Drbd Alert' root";
            split-brain "/usr/lib/drbd/notify-split-brain.sh root";
            out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
        }

        net {
          cram-hmac-alg "sha1";
          shared-secret "NFS-HA";
          #drbd同步时使用的验证方式和密码信息
        }

        disk {
          on-io-error detach;
          fencing resource-only;
          # 使用DOPD（drbd outdate-peer deamon）功能保证数据不同步的时候不进行切换。
        }

        startup {
          wfc-timeout 120;
          degr-wfc-timeout 120;
        }

        device /dev/drbd0;
        #这里/dev/drbd0是用户挂载时的设备名字，由DRBD进程创建
        on nfs-master.host.com {
        #每个主机名的说明以on开头，后面是hostname（必须在/etc/hosts可解析）
          disk /dev/sdb1;
          #使用这个磁盘作为drbd的磁盘/dev/drbd0。
          address 192.168.1.97:7788;
          #设置DRBD的监听端口，用于与另一台主机通信
          meta-disk internal;
          #drbd的元数据存放方式
        } 

        on nfs-backup.host.com {
          disk /dev/sdb1;
          address 192.168.1.98:7788;
          meta-disk internal;
        }
}

  • 硬盘分区，不进行格式化(在 Master 执行即可)

    fdisk /dev/sdb
n----->p------>1------->回车---->回车------>w

  • 创建DRBD设备并激活r0资源

    # 创建drbd 设备 
mknod /dev/drbd0 b 147 0
#激活r0资源
drbdadm create-md r0
# 根据提示进行操作
WARN:
  You are using the 'drbd-peer-outdater' as fence-peer program.
  If you use that mechanism the dopd heartbeat plugin program needs
  to be able to call drbdsetup and drbdmeta with root privileges.

  You need to fix this with these commands:
  chgrp haclient /lib/drbd/drbdsetup-84
  chmod o-x /lib/drbd/drbdsetup-84
  chmod u+s /lib/drbd/drbdsetup-84

  chgrp haclient /usr/sbin/drbdmeta
  chmod o-x /usr/sbin/drbdmeta
  chmod u+s /usr/sbin/drbdmeta

initializing activity log
initializing bitmap (640 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.

# useradd -M -s /sbin/nologin haclient   #创建程序用户
# chgrp haclient /lib/drbd/drbdsetup-84
# chmod o-x /lib/drbd/drbdsetup-84
# chmod u+s /lib/drbd/drbdsetup-84
    
# chgrp haclient /usr/sbin/drbdmeta
#  chmod o-x /usr/sbin/drbdmeta
#  chmod u+s /usr/sbin/drbdmeta
    # 再次激活设备
# drbdadm create-md r0

    • 启动DRBD服务

      systemctl start drbd && systemctl enable drbd

    • 查看 drbd 状态

      cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2020-04-05 02:58:18
 0: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r-----
    ns:1276152 nr:63137180 dw:64411784 dr:1877 al:361 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:459931480
        [=>..................] sync'ed: 12.3% (449148/511980)M
        finish: 3:04:38 speed: 41,512 (40,516) want: 41,040 K/sec

    • 配置主服务器，设置DRBD主(nfs-master)

      drbdsetup /dev/drbd0 primary --force  #在主服务器执行，设置为主
# cat /proc/drbd
version: 8.4.11-1 (api:1/proto:86-101)
GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2020-04-05 02:58:18
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:86032412 nr:1276188 dw:8334276 dr:78988028 al:1811 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:437037960
        [==>.................] sync'ed: 16.7% (426792/511980)M
        finish: 3:03:00 speed: 39,780 (39,904) K/sec

Primary/Secondary  表示当前为主，另一台为备

    • 在主服务器上，挂载磁盘，(nfs-master)

      ## Master 与 Bakcup 使用相同路径 /private_data
[root@nfs-master ~]# mkdir /private_data
[root@nfs-master ~]# mkfs.ext4 /dev/drbd0  #格式化磁盘
[root@nfs-master ~]# mount /dev/drbd0 /private_data  #挂载磁盘

    • 手动切换进行测试

      #主服务器
[root@nfs-master ~]# touch /private_data/er
[root@nfs-master ~]# ls /private_data
er  lost+found
[root@nfs-master ~]# umount /private_data   #取消挂载
[root@nfs-master ~]#  drbdsetup /dev/drbd0 secondary  #将主服务器，DRBD设置为备
#备服务器
[root@nfs-bakcup ~]# mkdir /private_data   #创建共享目录
[root@nfs-bakcup ~]#  drbdsetup /dev/drbd0 primary   #将备服务器中DRBD设置为主
[root@nfs-bakcup ~]# mount /dev/drbd0 /private_data  #挂载硬盘
[root@nfs-bakcup ~]# ls /private_data  #查看
er  lost+found  #文件实现了备份

配置 NFS高可用

  • 配置 keepalived
# 安装 keepalived
yum install keepalived -y
# 配置（Master）
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.back && cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
  notification_email {
    root@localhost
    }
     
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id DRBD_HA_MASTER
}
     
vrrp_script chk_nfs {
        script "/etc/keepalived/check_nfs.sh"
        interval 5
    }
    vrrp_instance VI_1 {
        state MASTER
        interface eth0
        virtual_router_id 101
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        track_script {
            chk_nfs
        }
    notify_stop /etc/keepalived/notify_stop.sh       
    notify_master /etc/keepalived/notify_master.sh   
    virtual_ipaddress {
        192.168.1.10/24
    }
}
# 配置（Slave）
cp /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.back && cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
  notification_email {
    root@localhost
    }
     
notification_email_from keepalived@localhost
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id DRBD_HA_BACKUP
}
     
vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 101
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    # 当进入Master状态时会呼叫notify_master

    # 当进入Backup状态时会呼叫notify_backup

    # 当发现异常情况时进入Fault状态呼叫notify_fault

    # 当Keepalived程序终止时则呼叫notify_stop

    notify_master /etc/keepalived/notify_master.sh            
  
    notify_backup /etc/keepalived/notify_backup.sh          
  
    virtual_ipaddress {
        192.168.1.10/24
    }
}
# 启动 keepalived(Master、Backup)
systemctl start keepalived && systemctl enable keepalived
  • Keepalived 检测脚本
[root@nfs-master keepalived]# cat check_nfs.sh 
#!/usr/bin/env bash 

###检查nfs可用性：进程和是否能够挂载
/usr/bin/systemctl status nfs &>/dev/null
if [ $? -ne 0 ];then
    ###如果服务状态不正常，先尝试重启服务
    /usr/bin/systemctl restart nfs
    /usr/bin/systemctl status nfs &>/dev/null
    if [ $? -ne 0 ];then
        ###若重启nfs服务后，仍不正常
        ###卸载drbd设备
        umount /dev/drbd0
        ###将drbd主降级为备
        drbdadm secondary r0
        #关闭keepalived
        /usr/bin/systemctl stop keepalived
    fi
fi
cat notify_master.sh
#!/usr/bin/env bash
cmd_drbdadm=$(whereis drbdadm | awk '{print $2}' | tr -d "\n")
cmd_mount=$(whereis mount | awk '{print $2}' | tr -d "\n")
cmd_service=$(whereis systemctl | awk '{print $2}' | tr -d "\n")

time=$(date "+%F  %H:%M:%S")
if [[ -n "${cmd_drbdadm}" ]]; then
    echo -e "$time    ------notify_master------\n" >> /etc/keepalived/logs/notify_master.log
    ${cmd_drbdadm} primary r0 &>> /etc/keepalived/logs/notify_master.log
    ${cmd_mount} /dev/drbd0 /private_data &>> /etc/keepalived/logs/notify_master.log
    ${cmd_service} restart nfs &>> /etc/keepalived/logs/notify_master.log
    echo -e "\n" >> /etc/keepalived/logs/notify_master.log
fi

cat notify_stop.sh
#!/usr/bin/env bash

cmd_drbdadm=$(whereis drbdadm | awk '{print $2}' | tr -d "\n")
cmd_umount=$(whereis umount | awk '{print $2}' | tr -d "\n")
cmd_service=$(whereis systemctl | awk '{print $2}' | tr -d "\n")

time=$(date "+%F  %H:%M:%S")
if [[ -n "${cmd_drbdadm}" ]]; then
    echo -e "$time  ------notify_stop------\n" >> /etc/keepalived/logs/notify_stop.log
    ${cmd_service} stop nfs &>> /etc/keepalived/logs/notify_stop.log
    ${cmd_umount} /private_data &>> /etc/keepalived/logs/notify_stop.log
    ${cmd_drbdadm} secondary r0 &>> /etc/keepalived/logs/notify_stop.log
    echo -e "\n" >> /etc/keepalived/logs/notify_stop.log
fi
### backup
#!/usr/bin/env bash

cmd_drbdadm=$(whereis drbdadm | awk '{print $2}' | tr -d "\n")
cmd_mount=$(whereis mount | awk '{print $2}' | tr -d "\n")
cmd_service=$(whereis systemctl | awk '{print $2}' | tr -d "\n")
time=$(date "+%F  %H:%M:%S")
if [[ -n "${cmd_drbdadm}" ]]; then
    echo -e "$time    ------notify_master------\n" >> /etc/keepalived/logs/notify_master.log
    ${cmd_drbdadm} primary r0 &>> /etc/keepalived/logs/notify_master.log
    ${cmd_mount} /dev/drbd0 /private_data &>> /etc/keepalived/logs/notify_master.log
    ${cmd_service} restart nfs &>> /etc/keepalived/logs/notify_master.log
    echo -e "\n" >> /etc/keepalived/logs/notify_master.log
fi

#!/usr/bin/env bash

cmd_drbdadm=$(whereis drbdadm | awk '{print $2}' | tr -d "\n")
cmd_umount=$(whereis umount | awk '{print $2}' | tr -d "\n")
cmd_service=$(whereis systemctl | awk '{print $2}' | tr -d "\n")
if [[ -n "${cmd_drbdadm}" ]]; then
    echo -e "$time    ------notify_backup------\n" >> /etc/keepalived/logs/notify_backup.log
    ${cmd_service} stop nfs &>> /etc/keepalived/logs/notify_backup.log
    ${cmd_umount} /dev/drbd0 &>> /etc/keepalived/logs/notify_backup.log
    ${cmd_drbdadm} secondary r0 &>> /etc/keepalived/logs/notify_backup.log
    echo -e "\n" >> /etc/keepalived/logs/notify_backup.log
fi
Y-Loong
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于nfs+drbd+keepalived的高可用存储方案
数通畅联
12-02 1020
随着公司的发展，对一些外围工具的使用也逐渐增多，其中就包括磁盘数据的高可用。最近在学习使用nfs，为了实现nfs的高可用，采用了NFS+keepalived+Sersync搭建nfs群集的方式实现k8s存储，但在了解相关资料并不断深入理解之后发现，当遇到大量的、频繁的文件更新时，Sersync和sync同步方案性能不够，所以最终尝试使用nfs+drbd+keepalived的方式实现，并进行总结和记录。 1基础介绍 在介绍具体实现步骤之前，首先了解一些用到的名词和两种同步方案。 1.1名称解释 1.
Centos下部署DRBD+NFS+Keepalived高可用环境记录
weixin_34129696的博客
10-18 217
使用NFS服务器（比如图片业务），一台为主，一台为备。通常主到备的数据同步是通过rsync来做（可以结合inotify做实时同步）。由于NFS服务是存在单点的，出于对业务在线率和数据安全的保障，可以采用"DRBD+NFS+Keepalived"架构来完成高可用方案部署。之前介绍了DRBD详细解说及配置过程记录，废话不多说了，基于之前的那篇文档的机器配置...
使用DRBD+KEEPALIVED来实现NFS高可用
08-18 351
目录 一 DRBD介绍 二 DRBD的模式 三 DRBD的同步协议 四 实验环境 五 安装配置 关于脑裂(split-brain)处理 一 DRBD介绍 DRBD（Distributed ReplicatedBlock De...
通过DRBD创建高可用NFS服务
最新发布
weixin_41558221的博客
05-21 159
最低成本提供高可用NFS服务
DRBD+HeartBeat+NFS 搭建高可用文件共享服务器笔记
weixin_33970449的博客
11-28 174
环境： CentOS6.5_x64，两块硬盘，用sdb1作drbd分区（sdb1建立好分区即可，不用格式化和挂载） masternfs eth0:192.168.140.128 (heartbeat,drbd,nfs服务端) backupnfs eth0:192.168.140.131 (heartbeat,drbd,nfs服务端) VIP: 192...
nfs实现共享目录对于集群高可用风险，nfs客户端容易卡死
lx__angel的博客
11-30 2319
客户端nfs中有一个内核级别的线程，nfsv4.1-svc，该线程会一直和nfs服务端进行通信，且无法被kill掉。（停止客户端Nfs服务，设置开机不自启动，并卸载nfs，重启主机才能让该线程停掉）。
keeplive+mysql+drbd高可用架构安装步骤
09-15
本地(master)与远程主机(backup)的保证实时同步,如果本地系统出现故障...在高可用(HA)中使用DRBD功能,可以代替使用一个共享盘阵.因为数据同时存在于本地主机和远程主机上,切换时,远程主机只要使用它上面的那份备份数据
NFS高可用方案.docx
09-07
"NFS高可用方案"通常涉及到多种技术的组合，如DRBD(分布式冗余磁盘阵列)，HeartBeat心跳监测系统，以及网络文件系统(NFS)。以下将详细介绍这些技术及其在实现文件存储高可用性中的应用。 **DRBD** 是一种分布式存储...
构建Heartbeat+DRBD+NFS高可用文件共享存储
10-19
部署DRBD + HEARDBEAT + NFS 环境，建立一个高可用(HA)的文件服务器集群。在方案中，通过DRBD保证了服务器数据的完整性和一致性。DRBD类似于一个网络RAID-1功能。
NFS+Heartbeat+DRBD部署
04-09
NFS+Heartbeat+DRBD构建高可用存储系统，可容纳1-2T小文件
NFS 高可用方案（NFS+keepalived+Sersync）
qq_337694336
04-08 4312
NFS 高可用方案（NFS+keepalived+Sersync） 1. 简述 1.1 介绍 本方案 NFS 的高可用方案，应用服务器为 Client ，两台文件服务器分别Master和 Slave，使用 keepalived 生成一个虚拟 IP，使用 Sersync 进行 Master 与 Slave 之间文件相互同步，确保高可用。 ng)] 2.安装前准备 服务器信息： 角色 系统版本...
drbd 8.3 rpm 安装包 64位
03-25
8.2版的在suse 11.1中使用时不能解决安装依赖性
Centos下部署DRBD+NFS+Keepalived高可用环境记录（个人精华版）
08-29
本篇文章详细记录了Centos下部署DRBD+NFS+Keepalived高可用环境部署过程，线上实操，希望能帮助到有用的朋友。
高可用nfs文件服务器集群部署(NFS+keepalived+Sersync)
热门推荐
啊脑袋的博客
09-09 1万+
萌新第一篇文章，请多指教。 本文所需资源，链接30天内有效，提取码：k8c1https://pan.baidu.com/s/1w8Mc-B_UVF5dBoCzu7Y-9A 目录 一、准备工具 二、准备工作 三、安装NFS 一、准备工具 当前系统为Centos7 以下工具有4个需要安装，第5个需要自己编写： 1、NFS（文件共享） 2、rsync（文件推送） 3、Sersync（监控目录并执行rsync命令） 4、Keepalived（高可用） 5、Shell脚本（不用安装，
NFS服务高可用方案
qq_21047625的博客
11-03 2216
文章目录NFS服务高可用方案1. 简述2. 硬件和网络需求3. 安装 DRBD3.1 安装DRBD3.2 编辑配置文件3.3 初始化设备4 NFS服务安装4.1 安装服务4.2 配置5. 安装heartbeat5.1 安装5.2 修改配置5.2.1 修改总体配置 `/etc/ha.d/ha.cf` 如下5.2.2 修改双机验证文件 `/etc/ha.d/authkeys`5.2.3 修改集群资源...
Heartbeat+DRBD+NFS高可用案例
weixin_34310785的博客
06-18 270
Heartbeat+DRBD+NFS高可用案例9.4 部署DRBD 的需求描述9.4.1业务需求描述 假设两台服务器Rserver-1/Lserver-1, 其实际IP分别为192.168.236.143（Rserver）和192.168.236.192（Lserver） 配置目标：两台服务器分别配置好DRBD服务后、实现在Rserver-1机器上/dev/sdb 分区上...
drbd+nfs+keepalived
weixin_34261415的博客
06-18 300
写的很详细 理论知识： https://www.cnblogs.com/kevingrace/p/5740940.html 写的很详细 负载： https://www.cnblogs.com/kevingrace/p/5740953.html 实际操作如下： 1、修改主机名 11.11.11.2 主服务器 主机名：Primary 11.11.11.3 备服务器 ...
nfs高可用测试过程记录说明
数通畅联
02-19 550
在测试k8s高可用过程中，出现了很多不稳定的问题，比如服务pod没有加载umc配置文件、redis主节点没有自动迁移等。这些问题通过脚本的方式解决的比较顺利，只有nfs高可用比较坎坷。 nfs高可用采用drbd方式实现，drbd分为主从模式，在停机切换时存在不稳定的情况。为了解决问题，达到稳定切换高可用的目的，经过2周的调整后问题已得到解决，在此记录调整过程，对自己的工作进行复盘。 1基础介绍 在文章开始之前，先介绍一些解决过程中用到的名词、部署架构和切换脚本。 1.1名词解释 1.nfs：网络文
NFS高可用报错一例解决
老韩的Linux云计算架构师进阶之路
12-27 451
将keepalived中的中文注释去掉。
Openstack-高可用部署指导手册.doc
03-27
- 网络规划和配置是OpenStack HA部署的关键部分，包括OpenvSwitch的安装和配置，Quantum（现在称为Neutron）服务的设置，以及HAProxy用于负载均衡，Corosync和Pacemaker作为集群管理工具确保服务的高可用。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值