drbd 配置详解

最新推荐文章于 2023-03-17 15:29:55 发布
最新推荐文章于 2023-03-17 15:29:55 发布
阅读量2.9k 收藏 1
点赞数
分类专栏： 服务器

DRBD介绍

DRBD是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。 DRBD Logo数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成功后返回）。DBRD的核心功能通过Linux的内核实现，最接近系统的IO栈，但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。DBRD的位置处于文件系统以下，比文件系统更加靠近操作系统内核及IO栈。

DRBD编译安装

安装所需依赖:

  1. yum -y install gcc kernel-devel kernel-headers flex

开始安装drbd，下载地址：http://oss.linbit.com/drbd/
安装用户空间工具：

  1. cd /tmp
  2. wget http://oss.linbit.com/drbd/8.4/drbd-8.4.1.tar.gz
  3. tar xzf drbd-8.4.1.tar.gz
  4. cd drbd-8.4.1
  5. ./configure --prefix=/usr/local/drbd --with-km
  6. make KDIR=/usr/src/kernels/2.6.18-274.18.1.el5-i686/
  7. make install
  8. mkdir -p /usr/local/drbd/var/run/drbd
  9. cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d
  10. chkconfig --add drbd
  11. chkconfig drbd on

安装drbd模块:

  1. cd drbd
  2. make clean
  3. make KDIR=/usr/src/kernels/2.6.18-274.18.1.el5-i686/
  4. cp drbd.ko /lib/modules/`uname -r`/kernel/lib/
  5. depmod

注：usr/src/kernels/2.6.18-274.18.1.el5-i686/这个内核源码树路径需要根据自己的系统修改。

DRBD配置

建立分区

假如现在有第二块硬盘hdb，两个node都要分区。

  1. #fdisk /dev/hdb                                                      //准备为 hdb 建立分区
  2.  The number of cylinders for this disk is set to 20805.
  3.  There is nothing wrong with that, but this is larger than 1024,
  4.  and could in certain setups cause problems with:
  5.  1) software that runs at boot time (e.g., old versions of LILO)
  6.  2) booting and partitioning software from other OSs
  7.    (e.g., DOS FDISK, OS/2 FDISK)
  8.  Command (m for help): n                                              //键入 n 表示要建立分区
  9.  Command action
  10.     e   extended
  11.     p   primary partition (1-4)
  12.  p                                                                    //键入 p 表示建立主要分区
  13.  Partition number (1-4): 1                                            //键入 1 为此主要分区代号
  14.  First cylinder (1-20805, default 1):                                 //开始磁柱值，按下 enter 即可
  15.  Using default value 1
  16.  Last cylinder or +size or +sizeM or +sizeK (1-20805, default 20805): //结束磁柱值，按下 enter 即可
  17.  Using default value 20805
  18.  Command (m for help): w                                              //键入 w 表示确定执行刚才设定
  19.  The partition table has been altered!
  20.  Calling ioctl() to re-read partition table.
  21.  Syncing disks.
  22.  [root@node1 yum.repos.d]# partprobe                                  //使刚才的 partition table 变更生效

建立分区完成后使用指令 fdisk -l 确定 partition talbe 状态

  1. #fdisk -l
  2.  Disk /dev/hda: 21.4 GB, 21474754560 bytes
  3.  255 heads, 63 sectors/track, 2610 cylinders
  4.  Units = cylinders of 16065 * 512 = 8225280 bytes
  5.     Device Boot      Start         End      Blocks   Id  System
  6.  /dev/hda1   *           1          13      104391   83  Linux
  7.  /dev/hda2              14        2610    20860402+  8e  Linux LVM
  8.  Disk /dev/hdb: 10.7 GB, 10737377280 bytes
  9.  16 heads, 63 sectors/track, 20805 cylinders
  10.  Units = cylinders of 1008 * 512 = 516096 bytes
  11.     Device Boot      Start         End      Blocks   Id  System
  12.  /dev/hdb1               1       20805    10485688+  83  Linux

建立分区完成后请建立 /db 目录。 (Node1 及 Node2 都必须建立)

  1. #mkdir /db
建立drbd配置文件

主要定义两块global和resource。

  1. vi /usr/local/drbd/etc/drbd.conf

写入：

  1. include "drbd.d/global_common.conf";
  2. include "drbd.d/*.res";
  1. vi /usr/local/drbd/etc/drbd.d/global_common.conf

写入：

  1. global {
  2.   usage-count yes;
  3. }
  4. common {
  5.   net {
  6.     protocol C;
  7.   }
  8. }
  1. vi /usr/local/drbd/etc/drbd.d/r0.res

写入：

  1. resource r0 {
  2.   on node1 {
  3.     device    /dev/drbd1;
  4.     disk      /dev/hdb1;
  5.     address   192.168.1.101:7789;
  6.     meta-disk internal;
  7.   }
  8.   on node2 {
  9.     device    /dev/drbd1;
  10.     disk      /dev/hdb1;
  11.     address   192.168.1.103:7789;
  12.     meta-disk internal;
  13.   }
  14. }
设置hostname

根据上面的resource配置文件，需要对192.168.1.101和192.168.1.103分别设置hostname为node1和node2，设置方法如下:

  1. vi /etc/sysconfig/network

修改HOSTNAME为node1

  1. vi /etc/hosts

填入:

  1. 192.168.1.101 node1
  2. 192.168.1.103 node2

使node1 hostnmae临时生效

  1. hostname node1

node2机器设置类似。

设置resource

以下操作需要在node1和node2操作。

  1. #modprobe drbd                                    //载入 drbd 模块
  2. #lsmod|grep drbd                                  //确认 drbd 模块是否载入
  3.  drbd                  228528  0
  4.  #dd if=/dev/zero of=/dev/hdb1 bs=1M count=100     //把一些资料塞到 hdb 內 (否则 create-md 时有可能会出现错误)
  5.  #drbdadm create-md r0                             //建立 drbd resource
  6.  #drbdadm up r0                                  //启动 resource r0

查看node1和node2的状态应该类似下面的：

  1. cat /proc/drbd
  1. version: 8.4.1 (api:1/proto:86-100)
  2. GIT-hash: 91b4c048c1a0e06777b5f65d312b38d47abaea80 build by root@localhost.localdomain, 2012-02-12 06:05:36
  3.  m:res  cs         ro                   ds                         p  mounted  fstype
  4.  0:r0   Connected  Secondary/Secondary  Inconsistent/Inconsistent  C

表明现在已经启动服务，但还没有设置同步（即需要设置Primary Node）

设置Primary Node

以下操作仅在node1执行。
设置node1为primary node:

  1. drbdadm primary --force r0

再次查看node1的状态：

  1. #cat /proc/drbd
  2. version: 8.4.1 (api:1/proto:86-100)
  3. GIT-hash: 91b4c048c1a0e06777b5f65d312b38d47abaea80 build by root@localhost.localdomain, 2012-02-12 06:47:37
  4.  
  5.  1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
  6.     ns:52892 nr:0 dw:0 dr:52892 al:0 bm:10 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

我们看到状态已经变成Primary/Secondary，即设置primary node成功。

创建DRBD文件系统

以下操作仅在node1执行。
上面已经完成了/dev/drbd1的初始化，现在来把/dev/drbd1格式化成ext3格式的文件系统。

  1. #mkfs.ext3 /dev/drbd1

然后将/dev/drbd1挂载到之前创建的/db目录。

  1. #mount /dev/drbd1 /db

现在你只要把数据写入/db目录，drbd即会立刻把数据同步到备机192.168.1.103的/dev/hdb1分区上。

drbd同步测试

当在备机node2启动drbd时，它是无法挂载/dev/hdb1分区的，我们可以尝试写些数据到node1的目录/db上，然后停止node2的drbd。

  1. drbdadm down r0

之后就可以把node2的/dev/hdb1挂载到目录/db

  1. mount -t ext3 /dev/hdb1 /db

我们就可以查看node2的/db目录是否有node1的数据。

手动切换主备机

我们可以把node1改变为备机，而node2改变为主机。
在node1上操作：

  1. umount /dev/drbd1
  2. drbdadm secondary r0

在node2上操作：

  1. drbdadm primary r0

此时应该已经切换成功

 

特别注意：

一定要在配置文件中添加以下两个参数，否则将会导致服务启动时无限期等待。

             startup{
               wfc-timeout 120;
               degr-wfc-timeout 120;
            }

如下一个配置实例：
global { usage-count no; }
common { syncer { rate 200M; } }
resource r0 {
            protocol C;
            net {
                 cram-hmac-alg sha1;
                 shared-secret "MySQL_HA";
            }

            disk{
               on-io-error detach;
               fencing resource-only;
            }
            startup{
               wfc-timeout 120;
               degr-wfc-timeout 120;
            }
            on mysql-n1 {
                 device    /dev/drbd0;
                 disk      /dev/sdb1;
                 address   10.0.17.155:7898;
                 meta-disk  internal;
            }
            on mysql-n2 {
                 device    /dev/drbd0;
                 disk      /dev/sdb1;
                 address   10.0.17.156:7898;
                 meta-disk  internal;
            }
       }



设置primary节点&mkfs
[root@mysql-n1 ~]# drbdadm primary all（报错，执行下面操作）
0: State change failed: (-2) Need access to UpToDate data
Command 'drbdsetup 0 primary' terminated with exit code 17
[root@mysql-n1 ~]# drbdadm -- --overwrite-data-of-peer primary all
[root@mysql-n1 ~]# mkfs.ext3 /dev/drbd0


查看drbd的状态
[root@mysql-n1 ~]# cat /proc/drbd
version: 8.3.13 (api:88/proto:86-96)
GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by 

mockbuild@builder10.centos.org, 2012-05-07 11:56:36
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
    ns:5043196 nr:0 dw:0 dr:5051264 al:0 bm:307 lo:1 pe:5 ua:64 ap:0 ep:1 wo:b 

oos:15921556
        [===>................] sync'ed: 24.1% (15548/20472)M
        finish: 0:02:02 speed: 129,304 (126,064) K/sec

其中：ro是角色信息：Primary/Secondary（代表这个是主节点）
                    Secondary/Primary（代表这个是副节点）

      ds是磁盘状态：UpToDate/Inconsistent（正在同步，数据还没有一致）
                    UpToDate/UpToDate    （同步完成，数据一致）
      ns是网络传输的数据包：以K为字节
    
      dw是磁盘写操作
      dr是磁盘读操作
       
      
挂载DRBD分区到/data目录下
[root@mysql-n1 ~]# mkdir /data
[root@mysql-n1 ~]# mount /dev/drbd0 /data
[root@mysql-n1 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/sda1              37G  4.5G   31G  13% /
tmpfs                 502M     0  502M   0% /dev/shm
/dev/drbd0             20G  173M   19G   1% /data


注：DRBD的英文全称就是Distributed Replicated Block Device（分布式块设备复制）,
Secondary节点的/dev/drbdX是不能进行挂载

 

其它的描述

more /proc/drbd 
version: 8.2.1 (api:86/proto:86-87)
GIT-hash: 318925802fc2638479ad090b73d7af45503dd184 build by root@test-105, 2010-01-11 17:35:20

 1: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r---
    ns:0 nr:1645688 dw:1645688 dr:0 al:0 bm:88 lo:0 pe:0 ua:0 ap:0
        resync: used:0/31 hits:29120 misses:88 starving:0 dirty:0 changed:88
        act_log: used:0/127 hits:0 misses:0 starving:0 dirty:0 changed:0

Field        说明                  值：
cs         连接状态               出现的值：
                    o Unconfigured：设备在等待配置。
                    o Unconnected：连接模块时的过渡状态。
                    o WFConnection：设备等待另一测的配置。
                    o WFReportParams：过渡状态，等待新TCP 连接的第一个数据包时。.
                    o SyncingAll：正将主节点的所有模块复制到次级节点上。.
                    o SyncingQuick：通过复制已被更新的模块（因为现在次级节点已经离开了集群）来更新次级节点。
                    o Connected：一切正常。
                    o Timeout：过渡状态。
st         状态（设备的作用）      可能的值为：
                    o 本地/远程一级状态
                    o 二级状态
                    o 未知（这不是一种作用）
ns    网络发送    模块号码
nr    网络接收    模块号码
dw    磁盘写入    模块号码
dr    磁盘读取    模块号码
of    运行中（过时的）模块号码
pe    待解决的    模块号码
ua    未答复的    模块号码（最好为0）

 

安装过程中可能遇到的一些问题

1、create-md的时候总是出现下面的问题

注：mds1在create-md的时候总是出现下面的问题，

[root@mds1 ~]# drbdadm create-md r0  
md_offset 2023411712
al_offset 2023378944
bm_offset 2023313408

Found ext3 filesystem which uses 1975992 kB
current configuration leaves usable 1975892 kB

Device size would be truncated, which
would corrupt data and result in
'access beyond end of device' errors.
You need to either
   * use external meta data (recommended)
   * shrink that filesystem first
   * zero out the device (destroy the filesystem)
Operation refused.

Command 'drbdmeta 0 v08 /dev/sda3 internal create-md' terminated with exit code 40
drbdadm create-md r0: exited with code 40

DRBD概念详解及配置
Celeste7777的博客
09-18 1355
一、进程间通信方式与存储方式 进程间通信的三种方式 消息队列：消息被发送到队列中，”消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它;消息队列就是一个消息的链表。可以把消息看作一个记录，具有特定的格式以及特定的优先级。对消息队列有写
共享存储DRBD的部署和配置
NancyLCL的博客
10-28 1076
5. 卸载文件系统并切换为备节点，注意：资源配置文件通常我们以" .res "结尾。注意：主节点先挂载，载写入数据；从节点先升级，再挂载。6. 从节点上切换为主节点，
DRBD（一） DRBD详解 及 DRBD配置
热门推荐
tjiyu的博客
10-02 3万+
下面将会全面认识DRBD， 并进行DRBD基本配置：DRBD工作原理，DRBD与RAID1区别，DRBD与集群共享存储，配置etcdrbd.conf、global_common.conf文件和DRBD资源，最后测试DRBD文件镜像复制功能，还给出DRBD脑裂问题的解决方法。
drbd配置
11-22 1421
一、drbd 工作原理 DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中。 本地(主节点)与远程主机(备节点)的数据可以保证实时同步.当本地系统出现故障时,远程主机上还会 保留有一份相同的数据,可以继续使用.在高可用(HA)中使用DRBD功能,可以代替使用一
DRBD 配置
weixin_34405354的博客
05-07 154
2019独角兽企业重金招聘Python工程师标准>>> ...
在Linux上配置DRBD部署
dawuafang
10-02 232
drbd 工作原理DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中。 本地(主节点)与远程主机(备节点)的数据可以保证实时同步.当本地系统出现故障时,远程主机上还会 保留有一份相同的数据,可以继续使用.在高可用(HA)中使用DRBD功能,可以代替使用一个共享盘...
linux corosync+pacemaker+drbd+mysql配置安装详解
09-15
### Linux Corosync + Pacemaker + DRBD + MySQL 配置安装详解 #### 一、基本环境介绍及基本环境配置 本章节将详细介绍如何在两个 CentOS 6.5 节点上部署高可用环境，其中包括了配置节点、设置基本环境、安装必要...
CentOS 5.4 DRBD主从模式配置详解与源码安装教程
本文档是一份详细的DRBD（Distributed Replicated Block Device）主从模式配置指南，适用于 CentOS 5.4 i386 系统（在 VMware 虚拟机环境下）。DRBD 是一个用于实时数据复制和高可用性的块级存储解决方案，特别适合...
drbd实现数据同步
weixin_34198797的博客
09-15 223
前提：1）本配置共有两个测试节点，分别node1.luowei.org和node2.luowei.org，相的IP地址分别为 192.168.1.78和192.168.1.151；2）node1和node2两个节点上各提供了一个大小相同的分区作为drbd设备；我们这里为在两个 节点上均为/dev/sda5，大小为2G； 1、准备工作 两个节点的主机名称和对应的I...
drbd配置简述
weixin_34408717的博客
04-06 577
drbd快速部署： DRBD的3种协议：协议A：异步复制协议。本地写成功后立即返回，数据放在发送的buffer中(可能会丢失)协议B：半同步复制协议。本地写成功后，将数据发送到对方后（是否写入不考虑）立即返回协议C：同步复制协议。本地和对方服务器磁盘都写成功确认后返回成功 生产环境使用协议C，使用不同的协议影响网络流量，从而影响网络时延DRBD的企业应用场景：heartbeat+drbd+nfs/...
drbd安装配置
donghaixiaolongwang的博客
04-10 532
参看网址：http://wzlinux.blog.51cto.com/8021085/1712831 ##原理：简单来说drbd就是通过网络镜像的两块磁盘设备或者分区。安装配置很简单，网上一大把。下面是我记得笔记，不是很整齐。 ####下载完成后直接安装即可：注意两个rpm包版本最好一致，并且drbd-kmdl内核功能模块一定要和你的内核版本对应（una
drbd部署及配置
weixin_34195364的博客
12-14 112
一、环境准备：1、两个节点：hostname node1hostname node22、各个节点hosts文件添加：192.168.23.148 node2192.168.23.147 node1[root@node2 drbd.d]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=node2#[root@node1 drb...
DRBD安装与配置
harryxxxxx的博客
07-06 2058
实验环境 主机 192.168.119.110 新磁盘 /dev/sdb 主机名 NFS1 从机 192.168.119.111 新磁盘 /dev/sdb 主机名 NFS2 关闭防火墙和SELINUX 两台主机分别添加hosts解析 vim /etc/hosts 安装drbd rpm –imp...
Centos6下DRBD的安装配置
Free雅轩的博客
06-27 276
一、安装环境说明 系统版本：CentOS6.5 DRBD版本：DRBD-8.4.3 node1:   192.168.7.88（drbd1) node2:   192.168.7.89 (drbd2) (node1)为仅主节点配置 (node2)为仅从节点配置 (node1,node2)为主从节点共同配置 二、准备环境：(node1,node2)1.关闭iptables和SELINUX，避免安装过程中报错 service iptables stop    
DRBD详细解说及配置过程记录
yetugeng的专栏
10-26 667
一、DRBD介绍 DRBD（Distributed ReplicatedBlock Device）是一种基于软件的，无共享，分布式块设备复制的存储解决方案，在服务器之间的对块设备（硬盘，分区，逻辑卷等） 进行镜像。也就是说当某一个应用程序完成写操作后，它提交的数据不仅仅会保存在本地块设备上，DRBD也会将这份数据复制一份，通过网络传输到另一个节点的块设 备上，这样，两个节点上的块设备上的数据将会...
基于DRBD实现存储高可用配置
最新发布
blacksiders的博客
03-17 687
DRBD是一种基于软件、基于网络的块复制存储解决方案，主要用于对服务器之间的磁盘、分区、逻辑卷等进行数据镜像。当用户将数据写入本地磁盘时，数据也会被发送到网络中另一台主机的磁盘上，从而实现本地主机(主节点)与远程主机(备节点)之间数据的实时同步。DRBD是一种基于linux内核模块实现的快级别的同步复制技术，可以与SAN达到相同的共享存储效果。DRBD具有部署简单、切换逻辑简单、保证数据强一致性等优点，但也存在对IO性能影响较大、从库不提供读操作等缺点。
DRBD简介 安装、编译报错解决 DRBD的配置、初始化及同步、主备模型
weixin_34292924的博客
10-10 314
主机环境 redhat6.5 64位实验环境 服务端1 ip 172.25.25.111 主机名：server1.example.com drbd 服务端2 ip172.25.25.112 主机名：server2.example.com drbd安装包 drbd-8.4.3.tar.gz防火墙状态：关闭1.Drbd的简介1.基本信息Distributed...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值