157、在系统中查找重复文件

题目描述:
给定一个目录信息列表,包括目录路径,以及该目录中的所有包含内容的文件,您需要找到文件系统中的所有重复文件组的路径。一组重复的文件至少包括二个具有完全相同内容的文件。

输入列表中的单个目录信息字符串的格式如下:

“root/d1/d2/…/dm f1.txt(f1_content) f2.txt(f2_content) … fn.txt(fn_content)”

这意味着有 n 个文件(f1.txt, f2.txt … fn.txt 的内容分别是 f1_content, f2_content … fn_content)在目录 root/d1/d2/…/dm 下。注意:n>=1 且 m>=0。如果 m=0,则表示该目录是根目录。

该输出是重复文件路径组的列表。对于每个组,它包含具有相同内容的文件的所有文件路径。文件路径是具有下列格式的字符串:

“directory_path/file_name.txt”

示例 1:

输入:
[“root/a 1.txt(abcd) 2.txt(efgh)”, “root/c 3.txt(abcd)”, “root/c/d 4.txt(efgh)”, “root 4.txt(efgh)”]
输出:
[[“root/a/2.txt”,“root/c/d/4.txt”,“root/4.txt”],[“root/a/1.txt”,“root/c/3.txt”]]

注:

最终输出不需要顺序。
您可以假设目录名、文件名和文件内容只有字母和数字,并且文件内容的长度在 [1,50] 的范围内。
给定的文件数量在 [1,20000] 个范围内。
您可以假设在同一目录中没有任何文件或目录共享相同的名称。
您可以假设每个给定的目录信息代表一个唯一的目录。目录路径和文件信息用一个空格分隔。

超越竞赛的后续行动:

假设您有一个真正的文件系统,您将如何搜索文件?广度搜索还是宽度搜索?
如果文件内容非常大(GB级别),您将如何修改您的解决方案?
如果每次只能读取 1 kb 的文件,您将如何修改解决方案?
修改后的解决方案的时间复杂度是多少?其中最耗时的部分和消耗内存的部分是什么?如何优化?
如何确保您发现的重复文件不是误报?

定义一个map用于存储路径文件对应的内容,定义一个time定义内容出现的次数(减少循环的次数),首先将所给的String数组进行处理,将路径和内容放进map中,需要注意的是以空格分隔过后内容可能不止一个,当然索引的0肯定是路径。

class Solution {
    public List<List<String>> findDuplicate(String[] paths) {
      List<List<String>> result = new ArrayList<>();
			Map<String, String> map = new HashMap<>();
			List<String> newpath = new ArrayList<>();
			Map<String, Integer> time = new HashMap<>();
	//		获取内容
			Set<String> content = new HashSet<>();
			for (int i = 0; i < paths.length; i++) {
				String temString = paths[i];
				String tem[] = temString.split(" ");
				System.out.println(Arrays.toString(tem));
				for (int j = 1; j < tem.length; j++) {
					String contents = tem[j].substring(tem[j].indexOf("(") + 1,tem[j].length() - 1);
					content.add(contents);
					String path = tem[0] + "/" + tem[j].substring(0,tem[j].indexOf("("));
					map.put(path, contents);
					time.put(contents, time.getOrDefault(contents, 0) + 1);
					newpath.add(path);
				}
			}
			for (int i = 0; i < newpath.size(); i++) {
				String tempath = newpath.get(i);
				List<String> list = new ArrayList<>();
				if(content.contains(map.get(tempath)) && time.get(map.get(tempath)) > 1){
					content.remove(map.get(tempath));
					String temcontent = map.get(tempath);
					for (int j = i; j < newpath.size(); j++) {
						if(map.get(newpath.get(j)).equals(temcontent)){
							list.add(newpath.get(j));
						}
					}
					if(list.size() >= 2){
						result.add(list);
					}
				}
			}
			return result;  
    }
}

其实可以换个思路:将内容作为key,value是所有路径的集合,那么这样就一个循环即可,代码:

class Solution {
    public List<List<String>> findDuplicate(String[] paths) {
 	List<List<String>> result = new ArrayList<>();
//			内容对应的是路径
			Map<String, List<String>> map = new HashMap<>();
			Map<String, Integer> time = new HashMap<>();
	//		获取内容
			Set<String> content = new HashSet<>();
			for (int i = 0; i < paths.length; i++) {
				String temString = paths[i];
//				tem[0]为路径,之后为内容
				String tem[] = temString.split(" ");
				System.out.println(Arrays.toString(tem));
				for (int j = 1; j < tem.length; j++) {
//					获取所有的内容,将内容作为key,value为路径的集合

					
//					文件名:
					int indexleft = tem[j].indexOf("(");
					String filename = tem[j].substring(0,indexleft);
					String filedire = tem[0] + "/" + filename;
					String filecontext = tem[j].substring(indexleft + 1,tem[j].length() - 1);
					if(!map.containsKey(filecontext)){
						map.put(filecontext, new ArrayList<>());
					}
					map.get(filecontext).add(filedire);
				}
			}
			for (Map.Entry<String, List<String>> tem : map.entrySet()) {
				if(tem.getValue().size() > 1){
					result.add(tem.getValue());
				}
			}
			return result;
    }
}
重复文件查找王”,一款为您以最快的速度找出指定目录内容重复文件列表,便于您据此清理文件,减少重复文件对磁盘空的占用。本工具的主要功能: 提供8种匹配方法,我们称之为匹配准确度的8层,它们是: 第0层,文件包含指定的文字 第1层,文件相同文件后缀名可以不同 第2层,文件相同文件后缀名也必须相同 第3层,文件相同文件后缀名相同文件大小也必须相同 第4层,文件的大小相同,CRC校验值也必须相同 第5层,文件相同文件的大小相同,CRC校验值也必须相同 第6层,文件的MD5校验值必须相同 第7层,文件相同文件的MD5校验值必须相同 这些匹配算法,已经能够满足绝大多数的用户的日常需要了。在查找文件总数及内容完全相同的情况下,这7种算法,按照从小到大的顺序,查找速度递减(即占用的时递增),但是查找的准确度递增。默认的查找方式是第4层。设置方法:“高级设置” --> “搜索方式”。 本软件的搜索算法经过了精心的整理和优化,在和国内外已有的、号称最优秀的同类软件相比时,本软件的速度仍然是最快的。 对于硬盘空快速增加的今天,查找速度的优化是极其重要的。 在信息爆炸的年代,您有没有觉得"垃圾信息"也在同样地爆炸式增长呢?在一台计算机上的重复文件,基本上也可以认为是垃圾信息,因为它们一方面占用了您宝贵的IT投资资源,另一方面,对于您进行文件版本控制也是极端的不利。本软件就能为您解决这些头疼的问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值