通过文件大小和MD5校验识别重复文件

#!/bin/sh
if [ $# != "1" ] || [ $1 = "--help" ];then
echo "Sytax:md5-sum.sh directory";
exit;
fi
echo "Begin"
#file-list
list=$(find $1);


#rm
$(rm -fr file_tmp.txt)
$(rm -fr file_result.txt)


#Loop
for item in $list;
do
if [ -f "${item}" ];then
md5str="$(md5sum ${item} 2>/dev/null | awk '{print $1}')";
    filesize="$(du -sk ${item} 2>/dev/null | awk '{print $1}')";
    echo "${item},${filesize},${md5str}" >> file_tmp.txt
fi
done
echo "End"


#

awk 'BEGIN {FS=","}{if (!($2,$3) in tarry){tarry[$2,$3]=$1}else{tarry[$2,$3]=tarry[$2,$3]","$1}}END{for(k in tarry){split(k,tarr2,SUBSEP);print tarr2[1],"*",tarr2[2],"=",tarry[k];}}' file_tmp.txt >> file_result.txt


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值