首先:利用MD5检验出,下载服务器,文件一样的文件,并剔除掉一样的文件。
MD5脚本如下:
#!/bin/bash
#DIR代表要校检的目录,然后将校检结果输出到txt文件下。
DIR=$1
txt=$2
find $DIR -type f -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate > $txt
其次:找出目录下大于600M的文件,并输出结果
find . -type f -size +600M -print0 | xargs -0 du -h
最后:通过找到大文件,去查找数据库,整理归类,并将大文件和小文件,下载分别放置不同带宽及配置的服务器上。