java8 去重复_用java8实现对重复文件的查找

因为spark的关系，这几天在看scala,发现这种函数式编程的方法，在处理数据是确实很方便，本想用python重写一个删除重复文件的方法。但查了一下，原生python里面支持的map，及 reduce等等，我实在不敢恭维。于是练习一下java8 的新特性

import java.io.File;

import java.util.ArrayList;

import java.util.Arrays;

import java.util.List;

import java.util.stream.Stream;

import static java.util.stream.Collectors.groupingBy;

public class FileDeletor {

public static void main(String[] args) {

File file = new File("/Users/zhipingwang/Downloads");

Arrays.stream(file.listFiles())

.flatMap(f -> listFile(f,new ArrayList()))

.collect(groupingBy(File::getName))

.entrySet() //与scala比起来，java还是弱了很多，这里我只能重新把map变成Set,然后在进行Stream操作,不如scala一气呵成

.stream()

.filter(e -> e.getValue().size() > 1)

.forEach(e-> System.out.println(e.getKey()));

}

/***

或许是更好的办法，我实在想不到，这里只能用了一个递归

**/

public static Stream listFile(File file, List files) {

if (file.isFile()) {

files.add(file);

} else {

//这里应该也可能用Stream来操作的

for (File mFile : file.listFiles())

listFile(mFile, files);

}

return files.stream();

}

}