本文详细记录了在不同环境下将4.5GB文件传输到另一台机器的过程，并通过分析I/O性能数据，揭示了操作系统如何利用页缓存功能进行数据缓存。文章进一步探讨了缓存机制的工作原理，以及在不同场景下如何有效利用系统资源来优化数据读取效率。
测试文件大小：4.5GB；
第一次将该文件传输到另外一台机器：
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.01 0.00 0.05 0.00 7.98 0.00 0.52 0.51 0.00
sdd 0.00 0.00 0.02 0.00 0.09 0.00 8.15 0.00 0.35 0.35 0.00
sdc 0.12 58.72 2.46 7.39 236.66 252.66 99.36 0.27 27.09 3.83 3.77
sdb 0.69 1.37 2.07 3.80 23.57 8.64 10.98 0.05 8.04 1.85 1.08
dm-0 0.00 0.00 0.90 1.01 9.34 4.03 13.99 0.02 8.34 1.51 0.29
dm-1 0.00 0.00 0.02 0.00 0.06 0.00 7.97 0.00 1.98 1.93 0.00
dm-2 0.00 0.00 4.37 67.15 250.35 257.26 14.20 24.20 338.32 0.63 4.49
avg-cpu: %user %nice %system %iowait %steal %idle
18.36 0.00 9.93 0.00 0.00 71.71
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 309.00 0.00 39552.00 0.00 256.00 0.09 0.30 0.29 9.10
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 309.00 0.00 39552.00 0.00 256.00 0.09 0.30 0.30 9.20
avg-cpu: %user %nice %system %iowait %steal %idle
17.50 0.00 10.75 0.25 0.00 71.50
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 309.00 0.00 39424.00 0.00 255.17 0.10 0.34 0.32 10.00
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 309.00 0.00 39424.00 0.00 255.17 0.10 0.34 0.32 10.00
=================================================================
第二次将该文件传输到另外一台机器：
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.01 0.00 0.05 0.00 7.98 0.00 0.52 0.51 0.00
sdd 0.00 0.00 0.02 0.00 0.09 0.00 8.15 0.00 0.35 0.35 0.00
sdc 0.12 58.38 2.76 7.35 275.05 251.22 104.16 0.27 26.26 3.72 3.76
sdb 0.72 1.42 2.09 3.79 24.17 8.81 11.22 0.05 8.00 1.85 1.09
dm-0 0.00 0.00 0.96 1.01 9.90 4.04 14.16 0.02 8.20 1.50 0.30
dm-1 0.00 0.00 0.02 0.00 0.06 0.00 7.97 0.00 1.98 1.93 0.00
dm-2 0.00 0.00 4.67 66.81 288.78 255.98 15.24 24.05 336.39 0.63 4.48
avg-cpu: %user %nice %system %iowait %steal %idle
20.27 0.00 10.00 0.00 0.00 69.73
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
avg-cpu: %user %nice %system %iowait %steal %idle
18.39 0.00 9.84 0.00 0.00 71.76
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 1.00 0.00 9.00 0.00 40.00 8.89 0.01 0.67 0.11 0.10
sdb 0.00 1.00 0.00 4.00 0.00 20.00 10.00 0.00 0.25 0.25 0.10
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-2 0.00 0.00 0.00 15.00 0.00 60.00 8.00 0.01 0.53 0.07 0.10
如果执行echo 3 > /proc/sys/vm/drop_caches清除缓存，再次读取该文件，则文件又会从磁盘读取
测试结论：操作系统会利用页缓存功能缓存利用LRU算法，尽量缓存最近被访问的文件，缓存大小会根据内存大小不同而不同，在测试中，一个4.5GB大小的文件被缓存，如果有一批小文件，总大小跟这个大文件一样，同时都比较热，均会被系统缓存。因此如果想解决热数据问题，同时该系统上面业务比较单一，可以利用系统本身的页缓存功能。
扫一扫
1362
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
