【SysBench】深度优化文件 I/O

已于 2024-03-21 16:13:25 修改
阅读量986 收藏 13
点赞数 32
分类专栏： SysBench 基准测试 文章标签： linux sysbench 基准测试 benchmark
于 2024-03-21 13:14:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wudi53433927/article/details/136885202
版权

上一篇对 sysbench fileio 进行了一定的测试优化，得到的结论与预期不符，本文将尝试查找问题以及进一步优化。

1、修改 sysbench 的参数

在准备阶段，修改创建测试文件的参数 file-extra-flags 为其他值，然后再修改其他参数进行测试。

1.1 dsync

1.1.1 准备文件

$ sysbench --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K prepare --file-extra-flags=dsync
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

2 files, 5242880Kb each, 10240Mb total
Creating files for the test...
Extra file open flags: dsync 
Creating file test_file.0
Creating file test_file.1
10737418240 bytes written in 327.77 seconds (31.24 MiB/sec).

1.1.2 运行测试

$ sysbench --time=300 --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=dsync
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Extra file open flags: dsync 
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      74.82
    writes/s:                     49.87
    fsyncs/s:                     99.76

Throughput:
    read, MiB/s:                  1.17
    written, MiB/s:               0.78

General statistics:
    total time:                          300.1178s
    total number of events:              67358

Latency (ms):
         min:                                    0.00
         avg:                                    8.91
         max:                                  955.28
         95th percentile:                       33.12
         sum:                               600004.59

Threads fairness:
    events (avg/stddev):           33679.0000/263.00
    execution time (avg/stddev):   300.0023/0.06
  • total number of events: 67358
  • avg: 8.91
  • 95th percentile: 33.12

对比 3T2，总请求数显著增加，平均响应时间显著减少，95%响应时间略有减少。性能显著提升。

1.1.3 清理文件

$ sysbench fileio cleanup

1.2 direct

使用 Direct I/O 进行测试。对应 MySQL 的 O_DIRECT 。

1.2.1 准备文件

$ sysbench --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K prepare --file-extra-flags=direct

1.2.2 运行测试

$ sysbench --time=300 --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=direct
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Extra file open flags: directio
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using synchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      82.40
    writes/s:                     54.93
    fsyncs/s:                     109.88

Throughput:
    read, MiB/s:                  1.29
    written, MiB/s:               0.86

General statistics:
    total time:                          300.0174s
    total number of events:              74166

Latency (ms):
         min:                                    0.00
         avg:                                    8.09
         max:                                  882.69
         95th percentile:                       29.19
         sum:                               599909.27

Threads fairness:
    events (avg/stddev):           37083.0000/215.00
    execution time (avg/stddev):   299.9546/0.00
  • total number of events: 74166
  • avg: 8.09
  • 95th percentile: 29.19

对比 1.1，总请求数显著增加，平均响应时间略有减少，95%响应时间显著减少。性能显著提升了

1.3 direct + async

继续使用 1.2 中创建的测试文件进行测试。

$ sysbench --time=300 --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=direct --file-io-mode=async
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Extra file open flags: directio
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using asynchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      259.88
    writes/s:                     172.96
    fsyncs/s:                     345.93

Throughput:
    read, MiB/s:                  4.06
    written, MiB/s:               2.70

General statistics:
    total time:                          300.5423s
    total number of events:              234052

Latency (ms):
         min:                                    0.00
         avg:                                    2.56
         max:                                  910.07
         95th percentile:                        0.04
         sum:                               599958.35

Threads fairness:
    events (avg/stddev):           117026.0000/940.00
    execution time (avg/stddev):   299.9792/0.00
  • total number of events: 234052
  • avg: 2.56
  • 95th percentile: 0.04

对比 1.2，总请求数增加了 2 倍，平均响应时间减少为 2/3 ，%95响应时间减少为前者的近 1/730 。性能达到质的提升。

1.4 direct + async + async-backlog

1.4.1 增加 async-backlog

$ sysbench --time=300 --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=direct --file-io-mode=async --file-async-backlog=256
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Extra file open flags: directio
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using asynchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      280.63
    writes/s:                     186.99
    fsyncs/s:                     373.99

Throughput:
    read, MiB/s:                  4.38
    written, MiB/s:               2.92

General statistics:
    total time:                          300.4804s
    total number of events:              252881

Latency (ms):
         min:                                    0.00
         avg:                                    2.37
         max:                                 1090.04
         95th percentile:                        0.04
         sum:                               599765.77

Threads fairness:
    events (avg/stddev):           126440.5000/2636.50
    execution time (avg/stddev):   299.8829/0.00
  • total number of events: 252881
  • avg: 2.37
  • max: 1090.04
  • 95th percentile: 0.04

对比 1.3，总请求数显著增加，平均响应时间略有减少，%95响应时间无变化。性能显著提升了。但也应注意最大响应时间随队列长度增加了。

1.4.2 减少 async-backlog

$ sysbench --time=300 --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=direct --file-io-mode=async --file-async-backlog=2
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Extra file open flags: directio
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using asynchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      81.39
    writes/s:                     54.25
    fsyncs/s:                     108.51

Throughput:
    read, MiB/s:                  1.27
    written, MiB/s:               0.85

General statistics:
    total time:                          300.0773s
    total number of events:              73259

Latency (ms):
         min:                                    0.00
         avg:                                    8.19
         max:                                 1257.79
         95th percentile:                       26.20
         sum:                               599988.95

Threads fairness:
    events (avg/stddev):           36629.5000/177.50
    execution time (avg/stddev):   299.9945/0.01

对比 1.3，总请求数显著降低，平均响应时间显著增加，%95响应时间显著增加。性能显著降低了，又回到了 1.2 的水平。

1.5 增加线程数

在 1.4.1 的基础上，增加线程数：

$ sysbench --time=300 --threads=16 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=direct --file-io-mode=async --file-async-backlog=256
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 16
Initializing random number generator from current time


Extra file open flags: directio
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using asynchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      310.62
    writes/s:                     210.30
    fsyncs/s:                     420.70

Throughput:
    read, MiB/s:                  4.85
    written, MiB/s:               3.29

General statistics:
    total time:                          300.4850s
    total number of events:              282909

Latency (ms):
         min:                                    0.00
         avg:                                   16.97
         max:                                 3926.18
         95th percentile:                        0.06
         sum:                              4800671.84

Threads fairness:
    events (avg/stddev):           17681.8125/231.15
    execution time (avg/stddev):   300.0420/0.01
  • total number of events: 282909
  • avg: 16.97
  • max: 3926.18
  • 95th percentile: 0.06
  • events (avg/stddev): 17681.8125/231.15

对比 1.4.1，总请求数显著增加，平均响应时间和最大响应时间显著增加，95%响应时间略有降低，线程平均请求数大幅下降。性能是否提升取决于对总请求数和响应时间的权衡取舍。

2、关闭文件系统缓存和 swappines

先查看内存状态，注意缓冲/缓存（buff/cache）。

$ free -m
              total        used        free      shared  buff/cache   available
Mem:           3770         176        3331          11         262        3370
Swap:          2047           0        2047

关闭文件系统缓存（默认值为 0 ，表示不释放）。为了安全关闭前需先 sync 以下。：

$ sync
$ sysctl vm.drop_caches=1
# 或
$ echo 1 > /proc/sys/vm/drop_caches

再次查看内存状态，注意到缓冲/缓存变小了。

$ free -m
              total        used        free      shared  buff/cache   available
Mem:           3770         164        3549          11          56        3454
Swap:          2047           0        2047

关闭 swappines （CentOS 默认值为 30 ，某些 Linux 为 60 ）。

$ sysctl vm.swappiness=0
# 或
$ echo 0 > /proc/sys/vm/swappiness

然后再次执行 1.4.1 测试：

$ sysbench --time=300 --threads=2 fileio --file-total-size=10G --file-num=2 --file-block-size=16K --file-test-mode=rndrw run --file-fsync-freq=1 --file-fsync-mode=fdatasync --file-extra-flags=direct --file-io-mode=async --file-async-backlog=256
sysbench 1.0.20 (using bundled LuaJIT 2.1.0-beta2)

Running the test with following options:
Number of threads: 2
Initializing random number generator from current time


Extra file open flags: directio
2 files, 5GiB each
10GiB total file size
Block size 16KiB
Number of IO requests: 0
Read/Write ratio for combined random IO test: 1.50
Periodic FSYNC enabled, calling fsync() each 1 requests.
Calling fsync() at the end of test, Enabled.
Using asynchronous I/O mode
Doing random r/w test
Initializing worker threads...

Threads started!


File operations:
    reads/s:                      290.28
    writes/s:                     193.24
    fsyncs/s:                     386.49

Throughput:
    read, MiB/s:                  4.54
    written, MiB/s:               3.02

General statistics:
    total time:                          300.2884s
    total number of events:              261252

Latency (ms):
         min:                                    0.00
         avg:                                    2.30
         max:                                 1132.16
         95th percentile:                        0.05
         sum:                               599736.20

Threads fairness:
    events (avg/stddev):           130626.0000/1558.00
    execution time (avg/stddev):   299.8681/0.00
  • total number of events: 261252
  • avg: 2.30
  • max: 1132.16
  • 95th percentile: 0.05

对比 1.4.1，总请求数显著增加，平均响应时间略有减少，95%响应时间和最大响应时间略有增加。

3、优化磁盘

磁盘并不是单指传统的机械硬盘，而是指代所有物理存储，包括单个硬盘驱动器、RAID 阵列和 SSD 固态硬盘等。

3.1 hdparm 关闭写回缓存（writeback）

查看磁盘写回缓存的状态：

$ hdparm -W /dev/sda

/dev/sda:
SG_IO: bad/missing sense data, sb[]:  70 00 05 00 00 00 00 0a 00 00 00 00 20 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
 write-caching = not supported

发现不支持写回缓存，所以没必要关闭了。

3.2 使用其他块大小的文件系统和物理磁盘

此处仅提供一个思路，使用 16K 块大小的固态硬盘（最好是使用 PCIe4.0 或 5.0 接口的），目的是与文件（或文件系统）块大小对齐。笔者暂时没有合适的测试环境， 读者如有可自行测试。

4、总结

本文仅抛砖引玉，暂时得到的结论是使用 direct + async-backlog ，增加线程数，关闭文件系统缓存和 swappines，优化磁盘，都是对 I/O 性能优化的有效手段。这些参数具体应该配置为多少合适，需要读者自行基准测试，并权衡指标的关键程度获得。

独上西楼影三人
关注
  • 32
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
使用sysbench对Oracle做基准测试(-) 安装篇
道行尚浅（老道）的博客
10-14 7145
sysbench是一款开源的多线程性能测试工具， 可以执行CPU/内存/线程/IO/数据库等方面的性能测试。数据库目前支持MySQL/Oracle/PostgreSQL。
【《高性能 MySQL》笔记】性能优化
影三人
03-10 771
MySQL 性能优化
sysbench（sysbench-1.0.20）
10-15
sysbench（sysbench-1.0.20）是一个基于LuaJIT的可编写脚本的多线程基准测试工具，主要用于数据库基准测试。 sysbench-1.0.20.tar.gz sysbench-1.0.20.zip
【《高性能 MySQL》摘录】第 9 章 操作系统和硬件优化
影三人
03-02 1151
为 MySQL 选择和配置硬件，以及根据硬件配置 MySQL， 并不是什么神秘的艺术。通常，对于大部分目标需要的都是相同的技巧和知识。当然，也需要知道一些 MySQL 特有的特点。我们通常建议大部分人在性能和成本之间找到一个好的平衡点。首先，出于多种原因，我们喜欢使用廉价服务器。举个例子，如果在使用服务器的过程中遇到了麻烦，并且在诊断时需要停止服务，或者希望只是简单地把出问题的服务器用另一台替换，如果使用的是一台$ 5000 的廉价服务器，肯定比使用一台超过$ 50000 或者更贵的服务器要简单得多。
MySQL高性能及性能优化技巧
呆萌小新@渊洁的博客
10-25 2199
Mysql的高性能优化和架构设计. 索引设计，查询方式，mysql底层结构
13 MySQL-优化
一个小运维
04-28 325
MySQL优化优化哲学为什么优化？优化风险谁参与优化优化方向优化的范围及思路优化工具的使用系统层面的CPUMEM数据库优化工具优化思路分解应用端MySQL参数优化测试优化细节：参数优化back_log ***wait_timeout和interactive_timeout ****key_buffer_size *****query_cache_size ***max_connect_errors...
面向云数据库，超低延迟文件系统PolarFS诞生了
xstardust的博客
09-05 226
摘要： 如同Oracle存在与之匹配的OCFS2，POLARDB作为存储与计算分离结构的一款数据库，PolarFS承担着发挥POLARDB特性至关重要的角色。PolarFS是一款具有超低延迟和高可用能力的分布式文件系统，其采用了轻量的用户空间网络和I／O栈构建，而弃用了对应的内核栈，目的是充分发挥RDMA和NVMe SSD等新兴硬件的潜力，极大地降低分布式非易失数据访问的端到端延迟。 随着国内首...
Linux性能测试工具 stress,stress-ng,sysbench，fio以及检测dstat
码农崛起
11-09 4589
通过man帮助，可以看到官方对dstat的定义为：多功能系统资源统计生成工具（ versatile tool for generating system resource statistics）。
MySQL优化策略
hawava的博客
10-09 409
目录优化哲学优化工具优化思路优化细节优化主从锁的监控及处理 优化哲学 优化工具 优化思路 优化细节 优化主从 锁的监控及处理
MySQL删除表时I/O错误的原因分析与解决
12-16
问题现象 最近使用sysbench测试MySQL，由于测试时间较长，写了一个脚本... I/O type: read, page: [page id: space=32, page number=57890], I/O length: 16384 bytes。 看起来是I/O出现了错误，但MySQL进程并未崩溃
数据库性能测试之sysbench工具的安装与用法详解
12-16
sysbench是一个开源的、模块化的、跨平台的多线程性能测试工具，可以用来进行CPU、内存、磁盘I/O、线程、数据库的性能测试。目前支持的数据库有MySQL、Oracle和PostgreSQL。 官方站点：...
sysbench-lua文件包
06-09
01. common.lua 02. delete.lua 03. insert.lua 04. oltp.lua 05. parallel_prepare.lua 06. select.lua 07. select_random_points.lua 08. select_random_ranges.lua 09. update_index.lua ...
sysbench1.20 最新版 aarch64 版本
08-24
使用交叉编译 编译的最新版本，可直接在arm64位机器上运行，不需要其他依赖，使用静态编译技术
企业级数据库POLARDB介绍&优化分享
weixin_42852136的博客
01-21 1198
PolarDB优化分享：PolarDB主要有五大核心优势： 兼容性 PolarDB兼容了当下最主流的、开发者最喜欢用的MySQL和PostgreSQL两种数据库生态，这意味着MySQL和PostgreSQL的老用户，在一行代码不用改的前提下，可以把业务从原来的开源数据库迁移到阿里云的企业数据库平台上。 性能好 对比MySQL有6倍性能提升及相对于商业数据库实现大幅度降低成本。拿Sysbench跑B...
Linux CFS调度器简介
小立仔
05-30 842
Linux CFS调度器简介
【Linux】写一个日志类
互关互三~
06-01 1211
简单实现一个日志类，方便以后记录程序报错信息
Linux `free` 命令：深入解析系统内存使用情况**
最新发布
bianchengxiaoma的博客
06-04 235
free命令是Linux系统管理员和开发者了解系统内存使用情况的重要工具。通过解析其输出，我们可以清楚地看到物理内存、交换空间以及缓存和缓冲区的使用情况。结合其他系统监控工具，我们可以更全面地了解系统的性能状况，并进行相应的优化和调整。
宝塔Linux可视化运维面板-详细教程2024
炀炀的专栏
05-30 1385
生产环境的Web服务器多数都是Linux操作系统。包括云服务器在内，都是通过命令行进行服务器的运维和管理。本文详细介绍如何通过宝塔面板实现可视化服务器管理。
执行这个命令时wget https://raw.githubusercontent.com/akopytov/sysbench/1.0/scripts/sysbench/sysbench oltp.lua出现Resolving oltp.lua (oltp.lua)... failed: Name or service not known. wget: unable to resolve host address ‘oltp.lua’如何解决
05-29
wget https://raw.githubusercontent.com/akopytov/sysbench/1.0/scripts/sysbench/sysbench%20oltp.lua ``` 2. 使用引号将整个URL括起来： ``` wget ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

独上西楼影三人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值