linux 块大小一般多少,linux - dd：如何计算最佳块大小？

最新推荐文章于 2023-09-03 01:05:41 发布

IOPin2022

最新推荐文章于 2023-09-03 01:05:41 发布

阅读量1.3k

点赞数

文章标签： linux 块大小一般多少

正如其他人所说，没有普遍正确的块大小; 对于一种情况或一种硬件而言，最佳选择对另一种情况来说可能非常低效。而且，取决于磁盘的健康状况，可能优选使用与“最佳”不同的块大小。

在现代硬件上非常可靠的一件事是，512字节的默认块大小往往比更优化的替代方案慢一个数量级。如果有疑问，我发现64K是一个相当坚实的现代默认值。虽然64K通常不是最佳块大小，但根据我的经验，它往往比默认值更有效。 64K还具有可靠性能的非常可靠的历史：您可以从Eug-Lug邮件列表中找到一条消息，大约2002年，在这里建议块大小为64K：[http://www.mail-archive.com/eug-lug@efn.org/msg12073.html]

为了确定最佳输出块大小，我编写了以下脚本，该脚本测试使用dd在不同块大小的范围内编写128M测试文件，默认值为512字节，最大值为64M。请注意，此脚本在内部使用dd，因此请谨慎使用。

dd_obs_test.sh：

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur

set -e

TEST_FILE=${1:-dd_obs_testfile}

TEST_FILE_EXISTS=0

if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi

TEST_FILE_SIZE=134217728

if [ $EUID -ne 0 ]; then

echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2

# Header

PRINTF_FORMAT="%8s : %s\n"

printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M

for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864

# Calculate number of segments required to copy

COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

if [ $COUNT -le 0 ]; then

echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."

break

# Clear kernel cache to ensure more accurate test

[ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

# Create a test file with the specified block size

DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)

# Extract the transfer rate from dd's STDERR output

TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

# Clean up the test file if we created one

if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

# Output the result

printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"

done

在GitHub上查看

我只在Debian(Ubuntu)系统和OSX Yosemite上测试过这个脚本，因此可能需要进行一些调整才能在其他Unix版本上进行调试。

默认情况下，该命令将在当前目录中创建名为dd_obs_testfile的测试文件。或者，您可以通过在脚本名称后面提供路径来提供自定义测试文件的路径：

$ ./dd_obs_test.sh /path/to/disk/test_file

脚本的输出是测试块大小及其各自传输的列表这样的费率：

$ ./dd_obs_test.sh

block size : transfer rate

512 : 11.3 MB/s

1024 : 22.1 MB/s

2048 : 42.3 MB/s

4096 : 75.2 MB/s

8192 : 90.7 MB/s

16384 : 101 MB/s

32768 : 104 MB/s

65536 : 108 MB/s

131072 : 113 MB/s

262144 : 112 MB/s

524288 : 133 MB/s

1048576 : 125 MB/s

2097152 : 113 MB/s

4194304 : 106 MB/s

8388608 : 107 MB/s

16777216 : 110 MB/s

33554432 : 119 MB/s

67108864 : 134 MB/s

(注意：传输速率的单位因操作系统而异)

要测试最佳读取块大小，您可以使用或多或少相同的过程，但是你不是从/ dev / zero读取并写入磁盘，而是从中读取磁盘并写入/ dev / null。执行此操作的脚本可能如下所示：

dd_ibs_test.sh：

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur

set -e

TEST_FILE=${1:-dd_ibs_testfile}

if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi

TEST_FILE_SIZE=134217728

# Exit if file exists

if [ -e $TEST_FILE ]; then

echo "Test file $TEST_FILE exists, aborting."

exit 1

TEST_FILE_EXISTS=1

if [ $EUID -ne 0 ]; then

echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2

# Create test file

echo 'Generating test file...'

BLOCK_SIZE=65536

COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1