blockdev --setra预读优化和IO请求的大小

最新推荐文章于 2023-11-23 09:01:45 发布
最新推荐文章于 2023-11-23 09:01:45 发布
阅读量1.2k 收藏 2
点赞数 1
原文链接：https://yq.aliyun.com/articles/463949
版权

磁盘预读可以改善顺序读的性能，并且测试发现每个读请求的大小也受预读大小的影响，也就是发生了IO合并。

在每次8K的顺序读中，关闭预读时，每个IO是8个扇区(4K); 增大预读，每个IO大概等于预读大小，但最大是设备的单个IO大小的上限（这里是1024）。 下面是详细的测试。

环境

台式机上的CentOS7.1 4核虚机
消费级SSD

准测试数据 

dd if=/dev/zero of=testdata bs=8096 count=100000

关闭预读的测试

  1. 关闭预读 

    /sbin/blockdev --setra 0 /dev/mapper/centos-root
/sbin/blockdev --setfra 0 /dev/mapper/centos-root

  2. 清缓存 

    sync
echo 3 > /proc/sys/vm/drop_caches

  3. 执行顺序读操作 

    [root@node2 ~]# dd if=testdata bs=8192 count=100000 of=/dev/null
98828+1 records in
98828+1 records out
809600000 bytes (810 MB) copied, 150.268 s, 5.4 MB/s

    在没有预读的情况下，读取速度5.4 MB/s，说明每个IO大小是8个扇区(4KB)，取的是iostat中途的值。 

    [root@node2 ~]# iostat -xm 1 100
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    8.22   15.38    0.00   76.39

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00 1390.00    0.00     5.43     0.00     8.00     0.91    0.65    0.65    0.00   0.65  90.70
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00 1389.00    0.00     5.43     0.00     8.00     0.91    0.65    0.65    0.00   0.65  90.90
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

设置预读大小为256

256是RHEL6.x的默认值,读取速度达到21.1 MB/s 

[root@node2 ~]# /sbin/blockdev --setra 256 /dev/mapper/centos-root
[root@node2 ~]# sync
[root@node2 ~]# echo 3 > /proc/sys/vm/drop_caches
[root@node2 ~]# dd if=testdata bs=8192 count=100000 of=/dev/null
98828+1 records in
98828+1 records out
809600000 bytes (810 MB) copied, 38.2959 s, 21.1 MB/s

相应的每个读请求的大小也也通过IO合并扩大到了256扇区左右。(下面除avgrq-sz，avgqu-sz外，其它值每秒的波动很大，不可作为参考) 

[root@node2 ~]# iostat -xm 1 100
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.50   24.81    0.00   74.69

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00   38.00    0.00     4.75     0.00   256.00     2.00   51.32   51.32    0.00  26.37 100.20
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00   38.00    0.00     4.75     0.00   256.00     2.00   51.32   51.32    0.00  26.37 100.20
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

设置预读大小为2048

设置预读大小为2048后,读取速度达到30.6 MB/s 

[root@node2 ~]# /sbin/blockdev --setra 2048 /dev/mapper/centos-root
[root@node2 ~]# sync
[root@node2 ~]# echo 3 > /proc/sys/vm/drop_caches
[root@node2 ~]# dd if=testdata bs=8192 count=100000 of=/dev/null
98828+1 records in
98828+1 records out
809600000 bytes (810 MB) copied, 26.4212 s, 30.6 MB/s

相应的每个读请求的大小也扩大到了1024扇区左右。 

[root@node2 ~]# iostat -xm 1 100
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    1.51   23.62    0.00   74.87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00   67.00    0.00    32.33     0.00   988.18     3.48   51.48   51.48    0.00  14.91  99.90
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00   68.00    0.00    33.00     0.00   993.88     3.48   50.74   50.74    0.00  14.69  99.90
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

 1024是这个设备每次读请求的最大扇区数，由于预读的大小是2048，所以可以看到IO队列深度提高到了3.48，比前面的256时的2高出将近1倍。 

[root@node2 ~]# blockdev --getmaxsect  /dev/mapper/centos-root
1024


结论


在单个应用进行同步读操作时，可以通过avgrq-sz和 avgqu-sz看出有没有进行预读优化，没有预读时通常avgrq-sz小于等于read()请求的size，avgqu-sz小于等于1。有预读时，avgrq-sz和avgqu-sz会相应增大，充分利用IO设备的处理能力。

参考

关于预读算法的说明可参考下面的第一篇文章，预读算法会尽量避免对随机读的预读，防止无效的预读。

  • http://os.51cto.com/art/200910/159067.htm
  • http://tech.hexun.com/2011-03-28/128268656.html
weixin_34138255
关注
套路篇：磁盘 I/O 性能优化的几个思路
echohuangshihuxue的博客
08-28 816
上一节，我们一起回顾了常见的文件系统和磁盘 I/O 性能指标，梳理了核心的 I/O 性能观测工具，最后还总结了快速分析 I/O 性能问题的思路。虽然 I/O 的性能指标很多，相应的性能分析工具也有好几个，但理解了各种指标的含义后，你就会发现它们其实都有一定的关联。顺着这些关系往下理解，你就会发现，掌握这些常用的瓶颈分析思路，其实并不难。找出了 I/O 的性能瓶颈后，下一步要做的就是优化了，也就是如何以最快的速度完成 I/O操作，或者换个思路，减少甚至避免磁盘的 I/O 操作。
运维：大数据（hadoop、spark）性能优化
JCrazyUltimate的专栏
06-03 346
Linux优化 调大预读缓冲区大小来提高性能 https://blog.csdn.net/xiaolang85/article/details/17790267 【JC】HDFS的可以调整为blockdev --setra 8192 /dev/sda 在Linux中，使用noatime选项挂载磁盘，以减少不必要的写入操作。 可以减少记录最新一次更新时间。 查看io负载 CentOS 7.2中磁盘iowait过高解决 https://www.linuxidc.com/Linux/2017-08/146267.
linux预读对磁盘IO的影响 blockdev --setra 16384 /dev/sda
一名数据库爱好者的专栏
08-14 276
参考 https://blog.51cto.com/u_15078930/5681129。
linux增加预读缓存区大小,Linux blockdev命令设置文件预读大小介绍
weixin_36359075的博客
05-06 298
在命令行调用设备的ioctl函数。在Linux系统中，似乎对设备的直接操作只有ioctl函数了。他接受的参数不是太多，而且都是一一对应的。blockdev - 从命令行调用区块设备控制程序blockdev [options] commands devicesblockdev 工具允许从命令行调用区块设备控制程序。–setro 设置设备为只读–getro 读取设备是否为只读(成功为1，0则为可读写...
嵌入式linux+io+优化,blockdev --setra预读优化和IO请求的大小
weixin_29475917的博客
05-12 327
磁盘预读可以改善顺序读的性能，并且测试发现每个读请求的大小也受预读大小的影响，也就是发生了IO合并。在每次8K的顺序读中，关闭预读时，每个IO是8个扇区(4K); 增大预读，每个IO大概等于预读大小，但最大是设备的单个IO大小的上限(这里是1024)。 下面是详细的测试。环境台式机上的CentOS7.1 4核虚机消费级SSD准测试数据dd if=/dev/zero of=testdata bs=8...
blockdev --setra read ahead performance
weixin_34205826的博客
03-31 363
以下CentOS 6.4 x64上的测试结果, 硬盘OCZ RevoDrive3 X2 240G 读取94393左右个数据块, 在read ahead=256(默认)情况下的时间为2376毫秒左右. (当然还有除掉cpu tuples operator的时间, 这里不额外叙述, 只是表面read ahead的影响.) 在read ahead=0时,时...
android io预读大小,blockdev --setra预读优化和IO请求的大小
weixin_39945792的博客
05-27 271
磁盘预读可以改善顺序读的性能，并且测试发现每个读请求的大小也受预读大小的影响，也就是发生了IO合并。在每次8K的顺序读中，关闭预读时，每个IO是8个扇区(4K); 增大预读，每个IO大概等于预读大小，但最大是设备的单个IO大小的上限(这里是1024)。 下面是详细的测试。环境台式机上的CentOS7.1 4核虚机 消费级SSD准测试数据dd if=/dev/zero of=testdata bs=...
Linux性能优化之磁盘优化
m0_74282605的博客
11-29 1234
关于本章内容，设计的东西比较多。这里会有关于文件系统、磁盘、CPU等方面的知识，以及涉及到关于这方面的性能排查等。
IO写流程分析
star的博客
08-21 1094
IO写流程分析 IO 写流程图示： 系统调用 read系统调用的处理分为用户空间和内核空间处理两部分。其中，用户空间处理只是通过0x80中断陷入内核，接着调用其中断服务例程，即sys_read以进入内核处理流程。 对于read系统调用在内核的处理，如上图所述，经过了VFS、具体文件系统，如ext2、页高速缓冲存层、通用块层、IO调度层、设备驱动层、和设备层。其中，VFS主要是用来屏蔽下层具体文件系...
三、HBase的优化(后期继续优化)
BigData
07-14 829
HBase高可用 在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。 1) 关闭HBase集群（如果没有开启则跳过此步） $ bin/stop-hbase.sh 2) 在conf目录下创建backup-masters文件 $ touch conf/backup-mas
io多大合适
weixin_33895604的博客
03-14 234
MySQL的cpu iowait值，<=1/(number of cores)。例如，如果是8核的，io wait 应<=12%。 "Monitor DB CPU IO wait value, which can not be higher than 1/number of cores. For example, if 8 cores, IO wait should be le...
android io预读大小,Android-->iostat(显示CPU和IO系统负载情况)
weixin_39885383的博客
05-27 524
1:需要下载iostat2:push到Android设备执行步骤:-->adb root-->adb remount-->adb push d:/iostat /system/bin/ (请注意加粗部分)-->adb shell-->chmod 755 /system/bin/iostat-->iostat3:iostat返回信息这里写图片描述avg-cpu...
Android多线程任务优化2：实现后台预读线程
热门推荐
lzc的专栏
09-23 1万+
转载请注明出处。博客地址：http://blog.csdn.net/mylzc 导语：从上一篇《多线程任务的优化1：探讨AsyncTask的缺陷》我们了解到，使用AsyncTask有导致应用FC的风险，而且AsyncTask并不能满足我们一些特定的需求。下面我们介绍一种通过模仿
比较有用的linux命令
magicminglee's Blog
09-23 731
msn：jinglexy at yahoo dot com dot cn/sbin/blockdev -v --getss /dev/hda1    查看分区区块大小/sbin/blockdev -v --getsize /dev/hda1    查看分区总大小/sbin/chkconfig --list            列出各个run lever下服务状态csplit big.txt 10
Linux常用命令——blockdev命令
最新发布
AI的博客
11-23 566
在命令调用“ioxtls”函数，以实现对设备的控制。设备文件名：指定要操作的磁盘的设备文件名。从命令行调用区块设备控制程序。
Odoo 环境下Ubuntu服务器性能优化–参数调整 (转老邓的)
jason156的专栏
06-21 1338
使用Odoo进行内部信息化管理，随着业务增长，服务器性能问题变成了瓶颈，为了解决这些问题，最近的工作重点将移到性能调整上来，同时也会在此记录整个处理过程，以便日后回顾。 1.根据相关资料建议，在linux文件系统有一个预读的参数，可以通过如下命令查看： blockdev --getra /dev/sda 一般的默认值为256，我们可以将此数据改大一点，建议的范围是在4096-16384之间，预读不足的常见问题是写磁盘的速度要比读取的速度要高。 改变参数的命令格式是：blockdev --setra
blockdev 设置文件预读大小
weixin_34237596的博客
11-10 319
在命令行调用设备的ioctl函数。在Linux系统中，似乎对设备的直接操作只有ioctl函数了。他接受的参数不是太多，而且都是一一对应的。 blockdev - 从命令行调用区块设备控制程序   blockdev [options] commands devices   blockdev 工具允许从命令行调用区块设备控制程序。 –setro 设置设备为只读–getro  读取设备是否为只读...
linux7安装分布式GreenPlum 5.28+6.13教程完整版
力哥讲技术
04-17 4550
这对于具有大量系统内存的系统尤其重要。使用 yum将会自动安装所依赖的软件包,并且将Greenplum数据库软件文件复制到版本特定的目录下 /usr/lcoal， /usr/local/greenplum-db-，并创建符号链接/usr/local/greenplum-db 到安装目录。首先这款工具是两个greenplum集群之间迁移数据的时候使用的，可以迁移完整的数据库，或者是表，可以跨版本迁移，兼容Greenplum Database 4.3.26 以上版本, 以及5.9 以上, 6.x版本。
blockdev --getbsz
09-22
总之，通过blockdev --getbsz命令，可以方便地获取指定块设备的块大小信息，从而更好地了解和配置磁盘 I/O 操作。 ### 回答3： blockdev --getbsz 是一个用于查看块设备的块大小的命令。块大小是指在计算机存储中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值