bcache+drbd性能测试

最新推荐文章于 2023-10-18 21:25:50 发布

JeanMcDull

最新推荐文章于 2023-10-18 21:25:50 发布

阅读量2.8k

点赞数 1

分类专栏： bcache 性能测试

本文链接：https://blog.csdn.net/mc_dull_lj/article/details/82761616

版权

本文详述了一项针对bcache与drbd的性能测试，涉及单节点和多节点配置，以及不同io深度下的性能表现。测试表明，bcache在提升随机写性能方面表现出色，但在多层叠加如drbd和tgt时，性能会有所下降。此外，调整bcache的writeback_percent和使用lio或tgt挂载会影响性能，最佳性能出现在io深度为32时。

摘要由CSDN通过智能技术生成

1、测试环境

架构示意：

1、bcache

2、bcache+drbd

硬件：

172.17.105.223

[0:2:0:0] disk DELL PERC H730 Adp 4.26 /dev/sda 1.19TB
[0:2:1:0] disk DELL PERC H730 Adp 4.26 /dev/sdb 1.19TB
[0:2:4:0] disk DELL PERC H730 Adp 4.26 /dev/sde 799GB

172.17.105.224

[0:2:0:0] disk DELL PERC H730 Adp 4.26 /dev/sda 1.19TB
[0:2:1:0] disk DELL PERC H730 Adp 4.26 /dev/sdb 1.19TB
[0:2:4:0] disk DELL PERC H730 Adp 4.26 /dev/sde 799GB

软件：

bcache（安装配置参见：https://blog.csdn.net/MC_dull_lj/article/details/82761591）、drbd、fio

2、测试过程

（1）单节点配置bcache 性能4k随机写（hdd+ssd分区100G）

1、指令：fio -direct=1 -iodepth 64 -thread -rw=randwrite -ioengine=libaio -bs=4k -size=100G -runtime=300 -ramp_time=5 -group_reporting -name=randwrite -filename=/dev/bcache80

结果：

①创建完成查询显示state为clean，dirty_data=0后，

第1次run：iops=63799。dirty_data上升，hdd无io时，iops可达10w（dirty_data达到write_back_percent之前），见下附图1；之后dirty_data增加，hdd有大量写入，hdd w/s 从3k增长到1w+，ssd w/s 6w，见下附图2。

第2、3次run：iops=733。dirty_data稳定在64G，不再增长，hdd w/s 减去ssd r/s 、ssd w/s与fio iops相近，新写入数据直接从ssd到hdd。iostats见下附图3

②等待数据变为clean，dirty_data=0，并手动触发gc。

第1次run：iops=61338

第2次run：iops=748

缓存被写满

③在dirty_data=30g时࿰