删除重复文件的脚本代码

#!/bin/bash

#文件名:remove duplicates.sh

#用途:    查找并删除重复文件,每一个文件只保留一个样本


ls  -lS  |  awk  'BEGIN  {  getline;  getline;  name1=$8;  size=$5} 

{   name2=$8;

    if (size == $5)

    {

        "md5sum  "  name1  |  getline;  csum1=$1;

        "md5sum "   name2  |  getline;  csum2=$1;

        if  (csum1  ==  csum2)

        { print  name1;  print name2}

      }

     size=$5;  name1=name2;

}'   |  sort  -u  >duplicate_files


cat  duplicate_files  |  xars  -I  { }  md5sum  { }  |  sort  |  uniq  -w  32  |  awk  ' { print   "^"$2"$" } '  |  sort  -u  >  duplicate_sample


echo  Removing..

comm  dupliacte_files  duplicate_sample  -2  -3  |  tee  /dev/stderr  |  xargs  rm

echo  Removed  duplicate  files  successfully.


#上面的黑体I不是L,而是大写的i

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值