下载服务器大文件整理

2019独角兽企业重金招聘Python工程师标准>>>

首先：利用MD5检验出，下载服务器，文件一样的文件，并剔除掉一样的文件。

MD5脚本如下：

#!/bin/bash

#DIR代表要校检的目录，然后将校检结果输出到txt文件下。
DIR=$1
txt=$2
find $DIR -type f -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate > $txt
其次：找出目录下大于600M的文件，并输出结果

find  . -type f -size +600M -print0 | xargs -0 du -h

最后：通过找到大文件，去查找数据库，整理归类，并将大文件和小文件，下载分别放置不同带宽及配置的服务器上。

转载于:https://my.oschina.net/lovetyh/blog/833033