drbd详解

目录

 一、DRBD简介

 二、DRBD的特性

 三、DRBD的用户空间管理工具

 四、DRBD的模式

 五、DRBD的同步协议

 六、DRBD的资源

 七、DRBD的配置文件详解

 八、实战，使用drbd+mysql+Corosync来实现mysql的高可用集群解决方案

 

一、DRBD简介

DRBD：叫做分布式复制块设备，这是一种基于软件，无共享，复制的解决方案。在服务器之间的块设备（包括硬盘、分区、逻辑卷）进行镜像。也就是说当某一个应用程序完成写操作后，它提交的数据不仅仅会保存在本地块设备上，DRBD也会将这份数据复制一份，通过网络传输到另一个节点的块设备上，这样，两个节点上的块设备上的数据将会保存一致，这就是镜像功能。

二、DRBD的特性

DRBD具有如下特性：

1)实时性：当某个应用程序完成对数据的修改时，复制功能立即发生

2)透明性：应用程序的数据存储在镜像块设备上是独立透明的，他们的数据在两个节点上都保存一份，因此，无论哪一台服务器宕机，都不会影响应用程序读取数据的操作，所以说是透明的。

3)同步镜像和异步镜像：同步镜像表示当应用程序提交本地的写操作后，数据后会同步写到两个节点上去；异步镜像表示当应用程序提交写操作后，只有当本地的节点上完成写操作后，另一个节点才可以完成写操作。

三、drbd的用户空间管理工具

为了能够配置和管理drbd的资源，drbd提供了一些管理工具与内核模块进行通信

drbdadm：高级的DRBD程序管理套件工具。它从配置文件/etc/drbd.conf中获取所有配置参数。drbdadm为drbdsetup和drbdmeta两个命令充当程序的前端应用，执行drbdadm实际是执行的drbdsetup和drbdeta两个命令。

drbdsetup：drbdsetup可以让用户配置已经加载在内核中运行的DRBD模块，它是底层的DRBD程序管理套件工具。使用该命令时，所有的配置参数都需要直接在命令行中定义，虽然命令很灵活，但是大大的降低了命令的简单易用性，因此很多的用户很少使用drbdsetup。

drbdmeta：drbdmeta允许用户创建、转储、还原和修改drbd的元数据结构。这个命令也是用户极少用到。

四、DRBD的模式

DRBD有2中模式，一种是DRBD的主从模式，另一种是DRBD的双主模式

1、DRBD的主从模式

这种模式下，其中一个节点作为主节点，另一个节点作为从节点。其中主节点可以执行读、写操作；从节点不可以挂载文件系统，因此，也不可以执行读写操作。在这种模式下，资源在任何时间只能存储在主节点上。这种模式可用在任何的文件系统上（EXT3、EXT4、XFS等等）。默认这种模式下，一旦主节点发生故障，从节点需要手工将资源进行转移，且主节点变成从节点和从节点变成主节点需要手动进行切换。不能自动进行转移，因此比较麻烦。

为了解决手动将资源和节点进行转移，可以将DRBD做成高可用集群的资源代理（RA），这样一旦其中的一个节点宕机，资源会自动转移到另一个节点，从而保证服务的连续性。

2、DRBD的双主模式

这是DRBD8.0之后的新特性

在双主模式下，任何资源在任何特定的时间都存在两个主节点。这种模式需要一个共享的集群文件系统，利用分布式的锁机制进行管理，如GFS和OCFS2。部署双主模式时，DRBD可以是负载均衡的集群，这就需要从两个并发的主节点中选取一个首选的访问数据。这种模式默认是禁用的，如果要是用的话必须在配置文件中进行声明。

五、DRBD的同步协议

DRBD的复制功能就是将应用程序提交的数据一份保存在本地节点，一份复制传输保存在另一个节点上。但是DRBD需要对传输的数据进行确认以便保证另一个节点的写操作完成，就需要用到DRBD的同步协议，DRBD同步协议有三种：

协议A：数据在本地完成写操作且数据已经发送到TCP/IP协议栈的队列中，则认为写操作完成。如果本地节点的写操作完成，此时本地节点发生故障，而数据还处在TCP/IP队列中，则数据不会发送到对端节点上。因此，两个节点的数据将不会保持一致。这种协议虽然高效，但是并不能保证数据的可靠性。

协议B：数据在本地完成写操作且数据已到达对端节点则认为写操作完成。如果两个节点同时发生故障，即使数据到达对端节点，这种方式同样也会导致在对端节点和本地节点的数据不一致现象，也不具有可靠性。

协议C：只有当本地节点的磁盘和对端节点的磁盘都完成了写操作，才认为写操作完成。这是集群流行的一种方式，应用也是最多的，这种方式虽然不高效，但是最可靠。

 

六、DRBD的资源

在DRBD中，资源是所有可复制移动存储设备的总称，它包括：

资源名称：资源名称可以是除了空白字符以外的任意ASCII码字符

DRBD设备：DRBD的虚拟块设备。在双方节点上，DRBD设备的设备文件命名方式；一般为/dev/drbdN，其主设备号147，N是次设备号

磁盘配置：DRBD内部应用需要本地数据副本，元数据。在双方节点上，为各自提供的存储设备。

网络配置：双方数据同步时所使用的网络属性；

 

七、DRBD的配置文件详解

drbd的主配置文件为/etc/drbd.conf；为了管理的便捷性，目前通常会将些配置文件分成多个部分，且都保存至/etc/drbd.d目录中，主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常，/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段，而每一个.res的文件用于定义一个资源。

在配置文件中，global段仅能出现一次，且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话，global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。

common段则用于定义被每一个资源默认继承的参数，可以在资源定义中使用的参数都可以在common段中定义。实际应用中，common段并非必须，但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。

resource段则用于定义drbd资源，每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名，名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段，以定义此资源关联至的节点，其它参数均可以从common段或drbd的默认中进行继承而无须定义。

[root@ha1 ~]# cat /etc/drbd.d/global_common.conf 

global {

 usage-count yes;         //DRBD用于统计应用各个版本的信息。当新的版本的drbd被安装就会和http server进行联系。当然也可以禁用该选项，默认情况下是启

 # minor-count dialog-refresh disable-ip-verification  //这里是global可以使用的参数

 #minor-count：32         //从（设备）个数，取值范围1~255，默认值为32。该选项设定了允许定义的resource个数，当要定义的resource超过了此选项的设定时，需要重新载入drbd内核模块。

 #disable-ip-verification：no   //是否禁用ip检查

 

}

common {

 protocol C;      //指定复制协议,复制协议共有三种，为协议A，B，C，默认协议为协议C

 handlers {   该配置段用来定义一系列处理器，用来回应特定事件。

  # These are EXAMPLE handlers only.

  # They may have severe implications,

  # like hard resetting the node under certain circumstances.

  # Be careful when chosing your poison.

  # pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

  # pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";

  # local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";

  # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";

  # split-brain "/usr/lib/drbd/notify-split-brain.sh root";

  # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";

  # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";

  # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;

 }

 startup {   该配置段用来更加精细地调节drbd属性，它作用于配置节点在启动或重启时。常用选项有：

  # wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb

  wfc-timeout：该选项设定一个时间值，单位是秒。在启用DRBD块时，初始化脚本drbd会阻塞启动进程的运行，直到对等节点的出现。该选项就是用来限制这个等待时间的，默认为0，即不限制，永远等待。

  degr-wfc-timeout：该选项也设定一个时间值，单位为秒。也是用于限制等待时间，只是作用的情形不同：它作用于一个降级集群（即那些只剩下一个节点的集群）在重启时的等待时间。

  outdated-wfc-timeout：同上，也是用来设定等待时间，单位为秒。它用于设定等待过期节点的时间

 }

 disk {

  # on-io-error fencing use-bmbv no-disk-barrier no-disk-flushes   这里是disk段内可以定义的参数

  # no-disk-drain no-md-flushes max-bio-bvecs                      这里是disk段内可以定义的参数

  on-io-error： detach   //选项：此选项设定了一个策略，如果底层设备向上层设备报告发生I/O错误，将按照该策略进行处理。有效的策略包括：

    detach    //发生I/O错误的节点将放弃底层设备，以diskless mode继续工作。在diskless mode下，只要还有网络连接，drbd将从secondary node读写数据，而不需要failover（故障转移）。该策略会导致一定的损失，但好处也很明显，drbd服务不会中断。官方推荐和默认策略。

    pass_on   //把I/O错误报告给上层设备。如果错误发生在primary节点，把它报告给文件系统，由上层设备处理这些错误（例如，它会导致文件系统以只读方式重新挂载），它可能会导致drbd停止提供服务；如果发生在secondary节点，则忽略该错误（因为secondary节点没有上层设备可以报告）。该策略曾经是默认策略，但现在已被detach所取代。

    call-local-io-error  //调用预定义的本地local-io-error脚本进行处理。该策略需要在resource（或common）配置段的handlers部分，预定义一个相应的local-io-error命令调用。该策略完全由管理员通过local-io-error命令（或脚本）调用来控制如何处理I/O错误。

  fencing：              //该选项设定一个策略来避免split brain的状况。有效的策略包括：

    dont-care：默认策略。不采取任何隔离措施。

    resource-only：在此策略下，如果一个节点处于split brain状态，它将尝试隔离对端节点的磁盘。这个操作通过调用fence-peer处理器来实现。fence-peer处理器将通过其它通信路径到达对等节点，并在这个对等节点上调用drbdadm outdate res命令

    resource-and-stonith：在此策略下，如果一个节点处于split brain状态，它将停止I/O操作，并调用fence-peer处理器。处理器通过其它通信路径到达对等节点，并在这个对等节点上调用drbdadm outdate res命令。如果无法到达对等节点，它将向对等端发送关机命令。一旦问题解决，I/O操作将重新进行。如果处理器失败，你可以使用resume-io命令来重新开始I/O操作。 

  

 }

 net {     //该配置段用来精细地调节drbd的属性，网络相关的属性。常用的选项有：

  # sndbuf-size rcvbuf-size timeout connect-int ping-int ping-timeout max-buffers     这里是net段内可以定义的参数

  # max-epoch-size ko-count allow-two-primaries cram-hmac-alg shared-secret   这里是net段内可以定义的参数

  # after-sb-0pri after-sb-1pri after-sb-2pri data-integrity-alg no-tcp-cork   这里是net段内可以定义的参数

  sndbuf-size：该选项用来调节TCP send buffer的大小，drbd 8.2.7以前的版本，默认值为0，意味着自动调节大小；新版本的drbd的默认值为128KiB。高吞吐量的网络（例如专用的千兆网卡，或负载均衡中绑定的连接）中，增加到512K比较合适，或者可以更高，但是最好不要超过2M。

  timeout：该选项设定一个时间值，单位为0.1秒。如果搭档节点没有在此时间内发来应答包，那么就认为搭档节点已经死亡，因此将断开这次TCP/IP连接。默认值为60，即6秒。该选项的值必须小于connect-int和ping-int的值。

  connect-int：如果无法立即连接上远程DRBD设备，系统将断续尝试连接。该选项设定的就是两次尝试间隔时间。单位为秒，默认值为10秒。

  ping-timeout：该选项设定一个时间值，单位是0.1秒。如果对端节点没有在此时间内应答keep-alive包，它将被认为已经死亡。默认值是500ms。

  max-buffers：该选项设定一个由drbd分配的最大请求数，单位是页面大小（PAGE_SIZE），大多数系统中，页面大小为4KB。这些buffer用来存储那些即将写入磁盘的数据。最小值为32（即128KB）。这个值大一点好。

  max-epoch-size：该选项设定了两次write barriers之间最大的数据块数。如果选项的值小于10，将影响系统性能。大一点好

  ko-count：该选项设定一个值，把该选项设定的值 乘以 timeout设定的值，得到一个数字N，如果secondary节点没有在此时间内完成单次写请求，它将从集群中被移除（即，primary node进入StandAlong模式）。取值范围0~200，默认值为0，即禁用该功能。

  allow-two-primaries：这个是drbd8.0及以后版本才支持的新特性，允许一个集群中有两个primary node。该模式需要特定文件系统的支撑，目前只有OCFS2和GFS可以，传统的ext3、ext4、xfs等都不行！

  cram-hmac-alg：该选项可以用来指定HMAC算法来启用对端节点授权。drbd强烈建议启用对端点授权机制。可以指定/proc/crypto文件中识别的任一算法。必须在此指定算法，以明确启用对端节点授权机制，实现数据加密传输。

  shared-secret：该选项用来设定在对端节点授权中使用的密码，最长64个字符。

  data-integrity-alg：该选项设定内核支持的一个算法，用于网络上的用户数据的一致性校验。通常的数据一致性校验，由TCP/IP头中所包含的16位校验和来进行，而该选项可以使用内核所支持的任一算法。该功能默认关闭。

 }

 syncer {   该配置段用来更加精细地调节服务的同步进程。常用选项有

  # rate after al-extents use-rle cpu-mask verify-alg csums-alg

  rate：设置同步时的速率，默认为250KB。默认的单位是KB/sec，也允许使用K、M和G，如40M。注意：syncer中的速率是以bytes，而不是bits来设定的。配置文件中的这个选项设置的速率是永久性的，但可使用下列命令临时地改变rate的值：drbdsetup /dev/drbdN syncer -r 100M。如果想重新恢复成drbd.conf配置文件中设定的速率，执行如下命令： drbdadm adjust resource

  verify-alg：该选项指定一个用于在线校验的算法，内核一般都会支持md5、sha1和crc32c校验算法。在线校验默认关闭，必须在此选项设定参数，以明确启用在线设备校验。DRBD支持在线设备校验，它以一种高效的方式对不同节点的数据进行一致性校验。在线校验会影响CPU负载和使用，但影响比较轻微。drbd 8.2.5及以后版本支持此功能。一旦启用了该功能，你就可以使用下列命令进行一个在线校验： drbdadm verify resource。该命令对指定的resource进行检验，如果检测到有数据块没有同步，它会标记这些块，并往内核日志中写入一条信息。这个过程不会影响正在使用该设备的程序。

如果检测到未同步的块，当检验结束后，你就可以如下命令重新同步它们：drbdadm disconnect resource   or   drbdadm connetc resource 

 }

}

common段是用来定义共享的资源参数，以减少资源定义的重复性。common段是非必须的。resource段一般为DRBD上每一个节点来定义其资源参数的。

资源配置文件详解

[root@ha1 ~]# cat /etc/drbd.d/web.res 

resource web {       web为资源名称

 on ha1.xsl.com {                       on后面为节点的名称,有几个节点就有几个on段，这里是定义节点ha1.xsl.com上的资源

  device   /dev/drbd0;    定义DRBD虚拟块设备，这个设备不要事先不要格式化

  disk /dev/sda6;     定义存储磁盘为/dev/sda6,该分区创建完成之后就行了，不要进行格式化操作

  address 192.168.108.199:7789;  定义DRBD监听的地址和端口，以便和对端进行通信

  meta-disk  internal;    该参数有2个选项：internal和externally，其中internal表示将元数据和数据存储在同一个磁盘上；而externally表示将元数据和数据分开存储，元数据被放在另一个磁盘上。

 }

 on ha2.xsl.com {      这里是定义节点ha2.xsl.com上的资源

  device /dev/drbd0;

  disk /dev/sda6;

  address 192.168.108.201:7789;

  meta-disk internal;

 }

}

  

八、实战，使用drbd+mysql+Corosync来实现mysql的高可用集群解决方案