使用find,xargs,sha1sum,sort,uniq查找重复文件

最新推荐文章于 2021-04-29 01:12:08 发布
最新推荐文章于 2021-04-29 01:12:08 发布
阅读量935 收藏
点赞数
分类专栏： Linux 文章标签： find xargs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zahuopuboss/article/details/18376001
版权

先查找所有文件

使用参数-print0和-0解决含有空格的文件名称

使用sha1sum计算哈希值

将所有结果导入文件中

find . -type f -print0 | xargs -0 sha1sum >> sha1sum.txt


按照哈希值排序

列出所有相同的项

cat sha1sum.txt | sort | uniq -w40 --all-repeated=separate


参考http://www.commandlinefu.com/commands/view/3555/find-duplicate-files-based-on-size-first-then-md5-hash

雜貨鋪老闆
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux文件查找命令find,xargs详述
07-29
文章主要对Linux文件查找命令find和xargs进行详细描述，感性趣的朋友可以参考下。
Linux命令之校验文件sha1sum
二木成林
07-17 3295
SHA-1是另一种常用的校验和算法。它从给定的输人中生成一个长度为 40 个字符的十六进制串。用来计算 SAH-1 校验和的命令是 `sha1sum`，其用法和 `md5sum` 的类似。
linux shell之xargs 、tr、sha1sum、head、tail一般使用
码莎拉蒂
03-15 2403
1 xargs命令 有点类似-exec命令 1）删除当前目录下面的c文件 find . -name "*.c" | xargs rm 2）统计当前c文件里面的代码行数 find . -name "*.c" | xargs wc -l 2 tr命令 替换命令 1）把大小替换成小写 echo "HELLO WORD" | tr 'A-Z' 'a-z' ...
生成文件的MD5、SHA、SHA256
sunny05296的博客
01-23 1万+
生成文件的MD5、SHA、SHA256 Linux系统生成MD5、SHA、SHA256 md5sum file1.zip  >> MD5.txt sha1sum file1.zip >> SHA1.txt sha256sum file1.zip >> SHA256.txt windows系统生成MD5、SHA、SHA256 certu
【数据挖掘】利用md5查找重复文件
artzers的专栏
05-26 7382
【数据挖掘】利用md5查找重复文件  电脑经过长时间的使用，难免会存留许多重复文件。这些重复文件往往四散在各处，其文件名、修改时间等信息都有改动，这对我清理重复文件造成了困扰。尽管重复文件已经有了诸多修改，但是这些修改仅仅作用于文件头，真正的文件数据没有修改过，因此我可以通过比较磁盘上的文件的文件数据的md5摘要信息，来找到重复的文件。
获取文件的哈希值（用来比较两个文件是否相同）
zhulongxi的博客
07-01 8631
using (HashAlgorithm hash = HashAlgorithm.Create()) { using (FileStream file = new FileStream(filePath, FileMode.Open, FileAccess.Read)) {
Linux文本查找命令find的用法详解
01-20
find 命令主要用于查找目录和文件，可以指定多种参数进行匹配。 用法：find +查找路径 +命令参数 [输出形式] 查找路径：告诉find在哪查找 命令参数：指定要查找的文件属性，属性包括多种，类型、名称、大小、修改...
linux find命令之xargs简单概述
09-15
主要为大家详细介绍了linux find命令之xargs的简单使用，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
find命令和xargs命令配合使用
12-02
find命令和xargs命令配合使用，自己总结的，觉得还好
linux sha1sum命令,每天一个 Linux 命令（63）：cksum、md5sum、sha1sum命令
weixin_33304686的博客
04-29 261
原标题：每天一个 Linux 命令(63)：cksum、md5sum、sha1sum命令来源：https://www.runoob.com/linux/linux-comm-cksum.html一、cksumLinux cksum命令用于检查文件的CRC是否正确。确保文件从一个系统传输到另一个系统的过程中不被损坏。CRC是一种排错检查方式，该校验法的标准由CCITT所指定，至少可检测到99.998...
SHA256sum系列命令检测文件完整性
氷泠
03-02 1万+
1 sha256sum sha256sum是一个检测文件完整性的命令，一般下载的文件都会附带一个哈希值，使用sha256sum计算下载文件的哈希值再与目标哈希值比较即可确定文件是否完整，类似的命令还有： md5sum sha1sum sha224sum sha384sum sha512sum 2 安装 在一个叫coreutils的包内： 想使用SHA3的话需要安装:sha3sum 3 使用 ...
Linux中xargs命令的重要作用------顺便分享一次面试经历和一次实战经历
认知 行动 坚持
06-19 9524
在某公司的某次面试中， 被问到这样一个题目：如何删除当前目录和子目录下所有的.txt文件？ 如果对linux命令不熟悉， 则看到题目就会有点傻眼。 当然， 如果你清楚xargs命令的作用， 那就好说了。 一句话:xagrs会接收管道传过来的参数， 并传给管道后面的命令。 下面， 我们来一起看看： Administrator@51B6904C3C8A485 ~/test $ ls Admin
工作中常用的 Linux 命令
weixin_33981932的博客
02-19 248
awk 示例： env变量值如下，需要获得pkg_url的链接值： {"name": "michael", "sex": "male", "pkg_url": "www.github.com", "number": "888"} pkg_url=$(echo $env | awk -F "pkg_url\": \"" '{print $2}' | awk -F "\"," '{print $1}'...
利用Linux查找重复文件（shell脚本）
紫晓暮雾的博客
03-27 1万+
前些天汉化组里遇到了这么一个问题：部分需要汉化的txt文件除了文件名不同，文件内容是完全相同的，重复汉化无疑加剧了组内工作，为此组里需要一个工具来找出这些重复文件，并用已汉化的文件替代其中未汉化的文件。经过一番考量，我决定用Linux下的shell来解决这个问题。
Python实现检测文件的MD5值来查找重复文件
热门推荐
mighty13的专栏
09-15 2万+
平时学生交上机作业的时候经常有人相互复制，直接改文件名了事，为了能够简单的检测这种作弊行为，想到了检测文件的MD5值，虽然对于抄袭来说作用不大，但是聊胜于无，以后可以做一个复杂点的。#-*- coding: utf8 -*- import hashlib import os import glob from collections import Counter import sys #set sys
LeetCode 在系统中查找重复文件（hash表）
hestyle的博客
04-15 840
给定一个目录信息列表，包括目录路径，以及该目录中的所有包含内容的文件，您需要找到文件系统中的所有重复文件组的路径。一组重复的文件至少包括二个具有完全相同内容的文件。 输入列表中的单个目录信息字符串的格式如下： “root/d1/d2/…/dm f1.txt(f1_content) f2.txt(f2_content) … fn.txt(fn_content)” 这意味着有 n 个文件（f1.txt...
linux 通过md5查找重复文件
weixin_30307921的博客
12-27 840
代码如下： md5sum *|sort |uniq -w32 -D|awk -F ' ' '{print $2}' 　uniq 部分参数　 -c #在每行前显示该行重复次数。 -d #只输出重复的行。 -D #只输出重复的行，有几行输出几行。 -f ...
（更新至2022年）全国按年龄、性别分的就业人员就业身份构成.xls
最新发布
05-05
数据来源：中国人口与就业统计NJ-2023版
linux文件查找命令find,xargs详述
06-28
常见的用法是将find查找到的文件列表传给xargs作为参数，再结合后续命令进行处理。例如： find /home -name "*.txt" | xargs rm 以上命令将查找/home目录下所有扩展名为.txt的文件，并将其删除。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值