blockdev --setra预读优化和IO请求的大小

最新推荐文章于 2023-11-23 09:01:45 发布
最新推荐文章于 2023-11-23 09:01:45 发布
阅读量5.4k 收藏 8
点赞数
分类专栏： liunix
  blockdev --setra预读优化和IO请求的大小  2016-07-17 19:03:53

分类： LINUX

磁盘预读可以改善顺序读的性能，并且测试发现每个读请求的大小也受预读大小的影响，也就是发生了IO合并。

在每次8K的顺序读中，关闭预读时，每个IO是8个扇区(4K); 增大预读，每个IO大概等于预读大小，但最大是设备的单个IO大小的上限（这里是1024）。 下面是详细的测试。

环境

台式机上的CentOS7.1 4核虚机
消费级SSD

准测试数据

dd if=/dev/zero of=testdata bs=8096 count=100000

关闭预读的测试

  1. 关闭预读

    /sbin/blockdev --setra 0 /dev/mapper/centos-root
/sbin/blockdev --setfra 0 /dev/mapper/centos-root

  2. 清缓存

    sync
echo 3 > /proc/sys/vm/drop_caches

  3. 执行顺序读操作

    [root@node2 ~]# dd if=testdata bs=8192 count=100000 of=/dev/null
98828+1 records in
98828+1 records out
809600000 bytes (810 MB) copied, 150.268 s, 5.4 MB/s

    在没有预读的情况下，读取速度5.4 MB/s，说明每个IO大小是8个扇区(4KB)，取的是iostat中途的值。

    [root@node2 ~]# iostat -xm 1 100
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    8.22   15.38    0.00   76.39

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00 1390.00    0.00     5.43     0.00     8.00     0.91    0.65    0.65    0.00   0.65  90.70
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00 1389.00    0.00     5.43     0.00     8.00     0.91    0.65    0.65    0.00   0.65  90.90
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

设置预读大小为256

256是RHEL6.x的默认值,读取速度达到21.1 MB/s

[root@node2 ~]# /sbin/blockdev --setra 256 /dev/mapper/centos-root
[root@node2 ~]# sync
[root@node2 ~]# echo 3 > /proc/sys/vm/drop_caches
[root@node2 ~]# dd if=testdata bs=8192 count=100000 of=/dev/null
98828+1 records in
98828+1 records out
809600000 bytes (810 MB) copied, 38.2959 s, 21.1 MB/s

相应的每个读请求的大小也也通过IO合并扩大到了256扇区左右。(下面除avgrq-sz，avgqu-sz外，其它值每秒的波动很大，不可作为参考)

[root@node2 ~]# iostat -xm 1 100
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    0.50   24.81    0.00   74.69

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00   38.00    0.00     4.75     0.00   256.00     2.00   51.32   51.32    0.00  26.37 100.20
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00   38.00    0.00     4.75     0.00   256.00     2.00   51.32   51.32    0.00  26.37 100.20
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

设置预读大小为2048

设置预读大小为2048后,读取速度达到30.6 MB/s

[root@node2 ~]# /sbin/blockdev --setra 2048 /dev/mapper/centos-root
[root@node2 ~]# sync
[root@node2 ~]# echo 3 > /proc/sys/vm/drop_caches
[root@node2 ~]# dd if=testdata bs=8192 count=100000 of=/dev/null
98828+1 records in
98828+1 records out
809600000 bytes (810 MB) copied, 26.4212 s, 30.6 MB/s

相应的每个读请求的大小也扩大到了1024扇区左右。

[root@node2 ~]# iostat -xm 1 100
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.00    0.00    1.51   23.62    0.00   74.87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     0.00   67.00    0.00    32.33     0.00   988.18     3.48   51.48   51.48    0.00  14.91  99.90
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
scd0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-0              0.00     0.00   68.00    0.00    33.00     0.00   993.88     3.48   50.74   50.74    0.00  14.69  99.90
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-6              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

 1024是这个设备每次读请求的最大扇区数，由于预读的大小是2048，所以可以看到IO队列深度提高到了3.48，比前面的256时的2高出将近1倍。

[root@node2 ~]# blockdev --getmaxsect  /dev/mapper/centos-root
1024


结论


在单个应用进行同步读操作时，可以通过avgrq-sz和 avgqu-sz看出有没有进行预读优化，没有预读时通常avgrq-sz小于等于read()请求的size，avgqu-sz小于等于1。有预读时，avgrq-sz和avgqu-sz会相应增大，充分利用IO设备的处理能力。

参考

关于预读算法的说明可参考下面的第一篇文章，预读算法会尽量避免对随机读的预读，防止无效的预读。

  • http://os.51cto.com/art/200910/159067.htm
  • http://tech.hexun.com/2011-03-28/128268656.html
javastart
关注
专栏目录
Linux性能优化之磁盘优化
m0_74282605的博客
11-29 1193
关于本章内容，设计的东西比较多。这里会有关于文件系统、磁盘、CPU等方面的知识，以及涉及到关于这方面的性能排查等。
centos io 查看程序_Centos下的IO监控与分析
weixin_39902472的博客
12-30 772
近期要在公司内部做个Linux IO方面的培训, 整理下手头的资料给大家分享下各种IO监视工具在Linux IO 体系结构中的位置源自 Linux Performance and Tuning Guidelines.pdf1 系统级IO监控iostatiostat -xdm 1 # 个人习惯%util 代表磁盘繁忙程度。100% 表示磁盘繁忙, 0%表示磁盘空闲。但是注意,磁...
linux增加预读缓存区大小,Linux使用blockdev命令调整文件预读大小的方法
weixin_29019241的博客
05-06 300
我们在使用过程中，可以对一些文件选择预读，这可以加快我们的工作效率。不过有时遇到一些较大的文件，就会导致我们的预读不全，那么这个问题该怎么解决呢？今天小编和大家分享下使用blockdev命令设置文件预读大小的方法。解决方法：在命令行调用设备的ioctl函数。在Linux系统中，似乎对设备的直接操作只有ioctl函数了。他接受的参数不是太多，而且都是一一对应的。blockdev - 从命令行调用区块...
linux预读对磁盘IO的影响 blockdev --setra 16384 /dev/sda
一名数据库爱好者的专栏
08-14 257
参考 https://blog.51cto.com/u_15078930/5681129。
linux增加预读缓存区大小,Linux blockdev命令设置文件预读大小介绍
weixin_36359075的博客
05-06 281
在命令行调用设备的ioctl函数。在Linux系统中，似乎对设备的直接操作只有ioctl函数了。他接受的参数不是太多，而且都是一一对应的。blockdev - 从命令行调用区块设备控制程序blockdev [options] commands devicesblockdev 工具允许从命令行调用区块设备控制程序。–setro 设置设备为只读–getro 读取设备是否为只读(成功为1，0则为可读写...
嵌入式linux+io+优化,blockdev --setra预读优化和IO请求的大小
weixin_29475917的博客
05-12 303
磁盘预读可以改善顺序读的性能，并且测试发现每个读请求的大小也受预读大小的影响，也就是发生了IO合并。在每次8K的顺序读中，关闭预读时，每个IO是8个扇区(4K); 增大预读，每个IO大概等于预读大小，但最大是设备的单个IO大小的上限(这里是1024)。 下面是详细的测试。环境台式机上的CentOS7.1 4核虚机消费级SSD准测试数据dd if=/dev/zero of=testdata bs=8...
blockdev --setra read ahead performance
weixin_34205826的博客
03-31 354
以下CentOS 6.4 x64上的测试结果, 硬盘OCZ RevoDrive3 X2 240G 读取94393左右个数据块, 在read ahead=256(默认)情况下的时间为2376毫秒左右. (当然还有除掉cpu tuples operator的时间, 这里不额外叙述, 只是表面read ahead的影响.) 在read ahead=0时,时...
IO写流程分析
star的博客
08-21 1079
IO写流程分析 IO 写流程图示： 系统调用 read系统调用的处理分为用户空间和内核空间处理两部分。其中，用户空间处理只是通过0x80中断陷入内核，接着调用其中断服务例程，即sys_read以进入内核处理流程。 对于read系统调用在内核的处理，如上图所述，经过了VFS、具体文件系统，如ext2、页高速缓冲存层、通用块层、IO调度层、设备驱动层、和设备层。其中，VFS主要是用来屏蔽下层具体文件系...
linuex查看繁忙_Linux下的IO监控与分析
weixin_39901439的博客
12-22 391
近期要在公司内部做个Linux IO方面的培训, 整理下手头的资料给大家分享下各种IO监视工具在Linux IO 体系结构中的位置源自 Linux Performance and Tuning Guidelines.pdf1 系统级IO监控iostatiostat -xdm 1 # 个人习惯%util 代表磁盘繁忙程度。100% 表示磁盘繁忙, 0%表示磁盘空闲。但是注意,磁...
运维：大数据（hadoop、spark）性能优化
JCrazyUltimate的专栏
06-03 321
Linux优化 调大预读缓冲区大小来提高性能 https://blog.csdn.net/xiaolang85/article/details/17790267 【JC】HDFS的可以调整为blockdev --setra 8192 /dev/sda 在Linux中，使用noatime选项挂载磁盘，以减少不必要的写入操作。 可以减少记录最新一次更新时间。 查看io负载 CentOS 7.2中磁盘iowait过高解决 https://www.linuxidc.com/Linux/2017-08/146267.
android io预读大小,blockdev --setra预读优化和IO请求的大小
weixin_39945792的博客
05-27 252
磁盘预读可以改善顺序读的性能，并且测试发现每个读请求的大小也受预读大小的影响，也就是发生了IO合并。在每次8K的顺序读中，关闭预读时，每个IO是8个扇区(4K); 增大预读，每个IO大概等于预读大小，但最大是设备的单个IO大小的上限(这里是1024)。 下面是详细的测试。环境台式机上的CentOS7.1 4核虚机 消费级SSD准测试数据dd if=/dev/zero of=testdata bs=...
io多大合适
weixin_33895604的博客
03-14 219
MySQL的cpu iowait值，<=1/(number of cores)。例如，如果是8核的，io wait 应<=12%。 "Monitor DB CPU IO wait value, which can not be higher than 1/number of cores. For example, if 8 cores, IO wait should be le...
android io预读大小,Android-->iostat(显示CPU和IO系统负载情况)
weixin_39885383的博客
05-27 507
1:需要下载iostat2:push到Android设备执行步骤:-->adb root-->adb remount-->adb push d:/iostat /system/bin/ (请注意加粗部分)-->adb shell-->chmod 755 /system/bin/iostat-->iostat3:iostat返回信息这里写图片描述avg-cpu...
Android多线程任务优化2：实现后台预读线程
热门推荐
lzc的专栏
09-23 1万+
转载请注明出处。博客地址：http://blog.csdn.net/mylzc 导语：从上一篇《多线程任务的优化1：探讨AsyncTask的缺陷》我们了解到，使用AsyncTask有导致应用FC的风险，而且AsyncTask并不能满足我们一些特定的需求。下面我们介绍一种通过模仿
比较有用的linux命令
magicminglee's Blog
09-23 717
msn：jinglexy at yahoo dot com dot cn/sbin/blockdev -v --getss /dev/hda1    查看分区区块大小/sbin/blockdev -v --getsize /dev/hda1    查看分区总大小/sbin/chkconfig --list            列出各个run lever下服务状态csplit big.txt 10
Linux常用命令——blockdev命令
最新发布
AI的博客
11-23 539
在命令调用“ioxtls”函数，以实现对设备的控制。设备文件名：指定要操作的磁盘的设备文件名。从命令行调用区块设备控制程序。
linux7安装分布式GreenPlum 5.28+6.13教程完整版
力哥讲技术
04-17 4505
这对于具有大量系统内存的系统尤其重要。使用 yum将会自动安装所依赖的软件包,并且将Greenplum数据库软件文件复制到版本特定的目录下 /usr/lcoal， /usr/local/greenplum-db-，并创建符号链接/usr/local/greenplum-db 到安装目录。首先这款工具是两个greenplum集群之间迁移数据的时候使用的，可以迁移完整的数据库，或者是表，可以跨版本迁移，兼容Greenplum Database 4.3.26 以上版本, 以及5.9 以上, 6.x版本。
blockdev --getbsz
09-22
### 回答1： `blockdev --getbsz`是一个 Linux 命令，用于获取块设备的块大小（单位为字节）。如果你要获取的是挂载在系统上的文件系统的块大小，可以先使用 `df -T` 命令获取文件系统挂载点的路径，然后再使用 `blockdev --getbsz /dev/path-to-device` 命令获取对应的块大小，其中 `/dev/path-to-device` 是文件系统对应的块设备路径。例如，要获取 `/dev/sda1` 分区的块大小，可以使用以下命令： ``` blockdev --getbsz /dev/sda1 ``` 注意，这个命令只能用于块设备，不能用于普通的文件。 ### 回答2： blockdev --getbsz命令是用于查看指定块设备的块大小。块大小是指操作系统在访问磁盘设备时以固定尺寸进行读写操作的单元大小。 在Linux系统中，块大小一般是512字节或4KB。使用blockdev --getbsz命令，可以获取当前系统中指定块设备的块大小。 例如，运行命令blockdev --getbsz /dev/sda，可以得到块设备/dev/sda的块大小。如果返回值是512，则表示该块设备的块大小是512字节；如果返回值是4096，则表示该块设备的块大小是4KB。 了解块设备的块大小对于磁盘 I/O 的性能优化是很重要的。较大的块大小可以减少磁盘 I/O 次数，提高读写效率；而较小的块大小可以提供更精细的数据控制，适用于某些特定的应用场景。 总之，通过blockdev --getbsz命令，可以方便地获取指定块设备的块大小信息，从而更好地了解和配置磁盘 I/O 操作。 ### 回答3： blockdev --getbsz 是一个用于查看块设备的块大小的命令。块大小是指在计算机存储中，将数据分成固定大小的块进行读写操作的单位。 使用 blockdev --getbsz 命令，可以获取当前块设备的块大小。块大小通常以字节（byte）为单位进行表示。块设备可以是硬盘、固态硬盘（SSD）、USB 驱动器等存储设备。块大小的选择会影响文件系统的性能和存储空间的利用效率。 一般来说，块大小越小，对于小文件的存储能力更高，但是会增加磁盘存储空间的消耗。而块大小越大，对于大文件的存储能力更高，但是对于小文件的存储空间利用相对较低。 通过 blockdev --getbsz 命令，我们可以轻松获取块设备的块大小，并根据实际需求进行优化。一般情况下，操作系统默认的块大小已经针对大部分应用进行了优化，因此在绝大多数情况下，不需要过多地调整块大小。但是对于特定的应用场景，如大规模数据分析或者高性能计算，可能需要调整块大小来优化存储性能。 总的来说，blockdev --getbsz 是一个简单但重要的命令，可以帮助我们了解块设备的块大小，并在需要的时候进行调整以最大限度地发挥设备的性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值