很多朋友问我DRBD性能怎么优化,我这边根据自己的使用经验总结一下:
1.
网络环境很重要,能使用千兆网卡的就不要使用百兆网卡,当前主流机器都是千兆网卡,交换机也考虑在里面,同时DRBD的数据同步使用的网络和提供服务的网络分开,尽量独立出来,例如:在两块网卡上直接连接一个网线,用过DRBD的数据同步。
2.
用作DRBD的分区的磁盘性能要尽量的好,例如可以考虑使用不少于6块15K的SAS盘做RAID10或RAID0(做好有BBU),来提供IO性能。在网络环境很好情况下DRBD分区可能会因为IO的写性能而成为瓶颈。
3.
尽量把系统更新成最新的kernel以及使用64bit的系统,同时使用最新版本的DRBD,之前在Florian's的blog上看到kernel2.6.13以及准备把DRBD作为linux
kernel的主干分支。
4. 注意syncer rate参数设置。这个依赖网络速度和磁盘的写入速度。官方给一个值:
千兆网络同步速度大约在125MB/S, 百兆网络同步速度大约在11MB/S,但我测试同步速度最大能到218MB/S.
这个同步速度和磁盘写入速度(hdparm -Tt /dev/drbd0测试结果)中的最小值 *
30%后的值就是应该设置的值。例如:同步速度125MB/S,磁盘写入速度110MB/S,那么这个应该设置不能超过33MB/S
原因是,DRBD同步有个不同的进程用来做i数据的传输,一个replication进程用来同步一些block的修改,这个值不依赖这个值的设置,是在Synchronization进程使用的带宽之外的带宽来传输。一个Synchronization进程用来同步处理,受限于这个值的设置,所以这值应该多考虑好,如果把设置的太大,把所有的带宽占满了,会导致replication
进程没有可用带宽使用,导致IO停止出现同步不正常。
5.
注意al-extents参数设置。al-extents控制着一次同时向磁盘写入多少个4M的block.
加大这个参数的值有几个好处:
(1).可以减少更新元数据到drbd设备频率。
(2). 降低同步数据时对IO流的中断数量。
(3).提高修改DRBD 设备相应速度。
但存在一个风险,当primary node出现crash时,所有活动的数据(al-extends的值 x 4M
block)需要在同步连接建立后重新同步。即存primary node出现crash时,secondary node
出现outdate的情况。我不建议在HA部署上调整这个参数,在某些CASE下可以用来提高性能。
总的来说,就这五个地方需要特别注意,调整其他参数都影响较小。