在服务器端,您可以使用dd和md5sum来校验文件的每个块:
#!/bin/bash
FILENAME="$1"
FILESIZE=`stat --printf="%s" $FILENAME`
CHUNKSIZE=536870912 # 512MB
CHUNKNUM=0
while ! grep -q 'cannot skip' hash.log 2> /dev/null ; do
dd if=$FILENAME bs=$CHUNKSIZE skip=$CHUNKNUM count=1 2> hash.log | md5sum >> $FILENAME.md5
CHUNKNUM=$(( CHUNKNUM + 1 ))
done
rm hash.log
您将获得一个带有所有块哈希值的$FILENAME.md5文件.
您现在可以下载该大文件和校验和,在该文件上运行此脚本并比较哈希值.如果任何一个部分获得不匹配的哈希值,您可以使用curl仅下载文件的一部分(如果服务器支持RANGE)并使用dd修补文件.
例如,如果块2出现哈希不匹配:
curl -s -r 536870912-1073741824 | dd of=somelargetarfile.tar seek=536870912 conv=notrunc
这将下载块2,并用它修补大的tar文件.