DRBD详解

DRBD详解

大纲

一、前言
二、DRBD 是什么
三、DRBD 主要功能
四、DRBD 工作原理
五、DRBD与HA 集群
六、DRBD 复制模式
七、DRBD 配置工具
八、DRBD 配置文件
九、DRBD 资源
十、DRBD 支持的底层设备
十一、DRBD 配置步骤
十二、安装与配置 DRBD 详解 
十三、DRBD 双主模式配置示例

推荐阅读：

Linux 高可用(HA)集群基本概念详解 http://www.linuxidc.com/Linux/2013-08/88522.htm

Linux 高可用（HA）集群之Heartbeat详解 http://www.linuxidc.com/Linux/2013-08/88521.htm

一、前言
      在这一篇博文中我们主要讲解DRBD，在这里说点题外话，其实学习任何Linux知识点，最好的方式就是去看官方文档，这是Linux的特点，也是开源精神的体现，不但提供软件，还提供学习资料，这里DRBD的官方文档http://www.drbd.org/users-guide/把DRBD讲的非常详细，但是全是英文的，学习Linux有点好，就是有很多博友受开源精神影响，也会去做很无私事，这不有哥们就把我们的文档翻译出来了，这是翻译版供大家参考http://www.linuxidc.com/Linux/2013-08/89034.htm，我在这里主要说一下DRBD的重要知识点，有时间的博友可以认真的学习一下官方文档。

二、DRBD 是什么
      简单的说，DRBD （Distributed Replicated Block Device，分布式复制块设备）是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络RAID1。

三、DRBD 主要功能

简单说一下DRBD主要功能，DRBD 负责接收数据，把数据写到本地磁盘，然后通过网络将同样的数据发送给另一个主机，另一个主机再将数据存到自己的磁盘中。

四、DRBD 工作原理
      每个设备（drbd 提供了不止一个设备）都有一个状态，可能是‘主’状态或‘从’状态。在主节点上，应用程序应能运行和访问drbd设备（/dev/drbd*）。每次写入都会发往本地磁盘设备和从节点设备中。从节点只能简单地把数据写入它的磁盘设备上。 读取数据通常在本地进行。 如果主节点发生故障，心跳（heartbeat或corosync）将会把从节点转换到主状态，并启动其上的应用程序。（如果您将它和无日志FS 一起使用，则需要运行fsck）。如果发生故障的节点恢复工作，它就会成为新的从节点，而且必须使自己的内容与主节点的内容保持同步。当然，这些操作不会干扰到后台的服务。

五、DRBD与HA 集群
      大部分现行高可用性集群（如：惠普、IBM、Dell）使用的是共享存储器，因此存储器连接多个节点（用共享的SCSI 总线或光纤通道就可以做到）。DRBD 也可以作为一个共享的设备，但是它并不需要任何不常见的硬件。它在IP 网络中运行，而且在价格上IP 网络要比专用的存储网络经济的多。目前，DRBD 每次只允许对一个节点进行读写访问，这对于通常的故障切换高可用性集群来讲已经足够用了。现在的版本将支持两个节点同时进行读写存取。这很有用，比如对GFS 来讲就是如此。兼容性DRBD可以在IDE、SCSI 分区和整个驱动器之上运行，但不能在回路模块设备上运行。（如果您硬要这样做，它就会发生死锁）。DRBD 也不能在回送网络设备中运行。（因为它同样会发生死锁：所有请求都会被发送设备占用，发送流程也会阻塞在sock_sendmsg（）中。有时，接收线程正从网络中提取数据块，并试图把它放在高速缓存器中；但系统却要把一些数据块从高速缓存器中取到磁盘中。这种情况往往会在接收器的环境下发生，因为所有的请求都已经被接收器块占用了。

六、DRBD 复制模式
协议A：异步复制协议。本地写成功后立即返回，数据放在发送buffer中，可能丢失。

协议B：内存同步（半同步）复制协议。本地写成功并将数据发送到对方后立即返回，如果双机掉电，数据可能丢失。

协议C：同步复制协议。本地和对方写成功确认后返回。如果双机掉电或磁盘同时损坏，则数据可能丢失。

一般用协议C，但选择C协议将影响流量，从而影响网络时延。为了数据可靠性，我们在生产环境中还是用C协议。

七、DRBD 配置工具
drbdadm：高级管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta发送指令。

drbdsetup：配置装载进kernel的DRBD模块，平时很少直接用。

drbdmeta：管理META数据结构，平时很少直接用。

八、DRBD 配置文件
  DRBD的主配置文件为/etc/drbd.conf；为了管理的便捷性，目前通常会将些配置文件分成多个部分，且都保存至/etc/drbd.d目录中，主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常，/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段，而每一个.res的文件用于定义一个资源。
在配置文件中，global段仅能出现一次，且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话，global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。
  common段则用于定义被每一个资源默认继承的参数，可以在资源定义中使用的参数都可以在common段中定义。实际应用中，common段并非必须，但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。
  resource段则用于定义drbd资源，每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名，名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段，以定义此资源关联至的节点，其它参数均可以从common段或drbd的默认中进行继承而无须定义。

九、DRBD 资源 
Resource name：可以是除了空白字符的任意的ACSII码字符

DRBD device：在双方节点上，此DRBD设备的设备文件；一般为/dev/drbdN，其主设备号147

Disk configuration：在双方节点上，各自提供的存储设备

Nerwork configuration：双方数据同步时所使用的网络属性

案例：
1234567891011121314 resource web { #资源名为“web”  
  on node1.magedu.com { #设置节点cluster1    
    device    /dev/drbd0; #指出drbd的标示名    
    disk      /dev/sda5; #指出作为drbd的设备  
    address  172.16.100.11:7789; #指定ip和端口号  
    meta-disk internal; #网络通信属性，指定drbd的元数据在本机    
  }    
  on node2.magedu.com {    
    device    /dev/drbd0;    
    disk      /dev/sda5;    
    address  172.16.100.12:7789;    
    meta-disk internal;    
  }    

}

  http://www.linuxidc.com/Linux/2013-08/89035p2.htm