一:概述:

DRBD 
是由内核模块和相关脚本而构成,用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。您可以把它看作是一种网络 RAID  Drbd  负责接收数据,把数据写到本地磁盘,然后发送给另一个主机。另一个主机再将数据存到自己的磁盘中。     

××× http://oss.linbit.com/drbd/0.7/drbd-0.7.25.tar.gz
核心参考文档: http://www.drbd.org/drbd-howto.html

二:主要实现

假设有两台机器 node2 192.168.0.158  需要镜像的硬盘: /dev/sdb1

zhouhw
192.168.0.159  需要镜像的硬盘: /dev/sdb1

主服务器为 192.168.0.158 

备份服务器为 192.168.0.159

平常对数据读写都在 192.168.0.158 上实现,当 192.168.0.158 down 掉后可以启动 192.168.0.159 ,实现数据的热备份。

真正的热切换需要才用 HA  来实现。

 

安装前需要提前安装的rpm 包:

 

1、  gcc
2、  kernel
3、  bison
4、  flex
5、  gmp-4.1.4-6.i386.rpm

 

三:下载安装

 

安装环境: Red Hat Enterprise Linux AS release 5 内核版本: 2.6.18-8.el5

确认内核源码存在 , 可到 http://oss.linbit.com/drbd/ 去载 .

下载源码注意:当前最新的 drbd-0.7.25 ,配置文件无法正常配置,出现一大堆错误,所以下载以前的稳定版本。 tar 源码解包后

运行 :

A
make KDIR=/usr/src/linux   /* 内核所在的位置*/

/*
如果你没有更改内核可以直接运行 make ,软件会直接到 /lib/module 里边去寻找系统环境,如果是新的内核需要对内核进行编译安装,

 

这里由于没有更改内核,所以直接执行 make make install 即即可,否则 make 时候会错误中断掉

B
make install

安装完主要生成命令: drbdsetup ,drbdadmin

和配置文件: /etc/drbd.conf , 启动文件, /etc/init.d/drbd

模块文件: drbd.ko( 在编译好的安装包目录下的 drbd 下可以找到)

所有命令和配置文件都可以在源码包编译成功的目录下面找到。

./scripts/drbd.conf
是最原始的配置文件,当 /etc/drbd.conf 被破坏,可以直接拷贝覆盖掉。

C
、创建硬件设备drbd

 mknod /dev/drbd0 b 147 0

 mknod /dev/drbd1 b 147 1

 mknod /dev/drbd2 b 147 2

 
或者用 shell 来建立多个:

#for i in $(seq 0 15) ; do mknod /dev/drbd$i b 147 $i ; done

D
DRBD  协议说明

    A 
数据一旦写入磁盘并发送到网络中就认为完成了写入操作。

    B 
收到接收确认就认为完成了写入操作。

    C 
收到写入确认就认为完成了写入操作。

    
您还可以选择其它参数来将数据传输给磁盘和网络选项。更多详情,请参见 drbdsetup  手册页
四:配置drbd

编辑文件 vi /etc/drbd.conf 修改内容如下:
global {
    usage-count yes;                 
(是否参加使用者统计,yes为参加)
}
common {
  syncer { rate 100M; }   #
如果是1000M网络,就写成1000M 
}
resource r0 {
  protocol C;                           
(数据同步协议,C为收到数据并写入后返回,确认成功)
  disk {
    on-io-error   detach;
  }
  net {
  }
  syncer {
    rate 100M;                          
(设置网络同步速率)
    al-extents 257;
  }
  on node2 {
    device     /dev/drbd0;
    disk       /dev/sdb1;
    address    192.168.0.158:7788;
    meta-disk  internal;
  }
  on zhouhw {
    device    /dev/drbd0;
    disk      /dev/sdb1;
    address   192.168.0.159:7788;
    meta-disk internal;
  }
}

五:启动drbd

先确认两台要镜像的机器是否正常,之间的网络是否通畅,需要加载的硬盘是否处于 umount状态。

A
 drbd采用的是模块控制的方式

所以先要加载 drbd.ko 模块

192.168..0.158服务器执行 :

#insmod drbd.ko 
或者 modprobe drbd

drbd.ko
可以在编译好的源码包里找到。

判断是否加载成功可以使用 lsmod来查看:(如图所示)



有的话表示加载模块成功

#drbdadm up all 

启动 drbd服务,使他挂在后台状态下运行 .

可以使用命令 netstat -an查看

有启动端口 7788,同时也监听对方的 7788端口,来实现数据交换。 (如图所示)


B:
192.168.0.159服务器执行

#modprobe drbd

#/etc/rc.d/init.d/drbd start

netstat -atn
的输出结果,说明两台虚拟机的 drbd服务已经连接上了:(如图所示)

 

 

六:设置权限

drbd
的基本服务都起来了,现在需要对主的服务器也就使 192.168.0.158 这台服务器进行配置,让他能够对 drbd0 设备进行读写。

192.168.0.158 机器上运行

#drbdadm -- --do-what-I-say  primary all   #
设置 192.168.0.158 服务器为同步主目录 , 也就是同步以 192.168.0.158 的这个分区为准 .

注意命令格式需要一样 , 没有任何提示的话表示基本上成功了

#sfdisk -s

可以看见有一个硬件设备: /dev/drbd0

 
此时,两台设备之间就建立起一个镜像,您可以查看 /proc/drbd  进行核实。

# cat /proc/drbd

如果原来硬盘没有文件系统的话,现在您可以在设备 /dev/drbd0 上创建一个文件系统,然后把它加载到 192.168.0.158 上。  

#mkfs.ext3  /dev/drbd0

 

# mount /dev/drbd  /turbomail

现在 /dev/drbd0 就等于你服务器上面的一个硬件设备,你可以对他进行任何的读写操作。

七:drbd 测试:

1:
192.168.0.158 主服务器上 :

#drbdadm primary all

#touch /turbomail/aaa
完后 , 在执行

#umount /turbomail

#drbdadm secondary all

2:
接着到 192.168.0.159 备用服务器上执行

#drbdadm primary all

#mount /dev/drbd0 /turbomail

#ls -l /turbomail

aaa

Ok,
没问题 , 可以看到数据在 192.168.0.158 服务器写入 , 192.168.0.159 马上可以看到 .

 

几点注意的地方:

1. mount drbd
设备以前必须把设备切换到 primary 状态。

2. 
两个节点中,同一时刻只能有一台处于 primary 状态,另一台处于 secondary 状态。

3. 
处于 secondary 状态的服务器上不能加载 drbd 设备。

4. 
主备服务器同步的两个分区大小最好相同 , 这样不至于浪费磁盘空间 , 因为 drbd 磁盘镜像相当于网络 raid 1.