如何通过http从linux下载文件,linux – 我可以通过http验证大量文件下载吗？

在服务器端,您可以使用dd和md5sum来校验文件的每个块：

#!/bin/bash

FILENAME="$1"

FILESIZE=`stat --printf="%s" $FILENAME`

CHUNKSIZE=536870912 # 512MB

CHUNKNUM=0

while ! grep -q 'cannot skip' hash.log 2> /dev/null ; do

dd if=$FILENAME bs=$CHUNKSIZE skip=$CHUNKNUM count=1 2> hash.log | md5sum >> $FILENAME.md5

CHUNKNUM=$(( CHUNKNUM + 1 ))

done

rm hash.log

您将获得一个带有所有块哈希值的$FILENAME.md5文件.

您现在可以下载该大文件和校验和,在该文件上运行此脚本并比较哈希值.如果任何一个部分获得不匹配的哈希值,您可以使用curl仅下载文件的一部分(如果服务器支持RANGE)并使用dd修补文件.

例如,如果块2出现哈希不匹配：

curl -s -r 536870912-1073741824 | dd of=somelargetarfile.tar seek=536870912 conv=notrunc

这将下载块2,并用它修补大的tar文件.