其实这个方法有点傻,可以借助于数据库,将数据库的表用poi读出csv文件,去重在数据库中做比较好,这个方法是没提供数据库前提下可以使用
import java.io.*;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class MergeFile {
/**
* 合并多个文件
* @param outfile
* @param dictionary
* @return
* @throws IOException
*/
public static boolean unionFile(String outfile,String dictionary) throws IOException {
boolean result=false;
List<Object> list = null;//需要放值的list
Map<String, Object> outMap = new HashMap<>();
List<File> fileList=getFiles(dictionary);
File fout=new File(outfile);
FileWriter fw=new FileWriter(fout);
for(File f:fileList){
FileReader fr = new FileReader(f);
BufferedReader br = new BufferedReader(fr);
String line = br.readLine();
while (line != null) {
String[] strs = line.split("\t");//如果想要转成对象需要在此处new对象放值在外边定义个list存,然后再对list去重再写到文件中所以转对象的时候不要写fw.append那行 for 循环strs 放入list中
fw.append(line+"\n");//转对象不写
line=br.readLine();//一定要有
}
fr.close();
}
//start 如果去重则需要以下
for (Object file : list) {
if (outMap.containsKey(file.getId())) {
if (outMap.get(file.getId()).getLastModified().compareTo(file.getLastModified()) < 0) {//当前file中的时间大于map中的替换掉
outMap.put(file.getId(), file);
}
} else {
outMap.put(file.getId(), file);
}
}
for (Object o : outMap.values()) {
String content = "拼接o中的数据项用\t分隔比较好不容易撞";
fw.append(content + "\n");
fw.write(System.getProperty("line.separator"));
}
//end 结束如果不需要去重则不要加
fw.close();
result=true;
return result;
}
public static List<File> getFiles(String path){
File root = new File(path);
List<File> files = new ArrayList<File>();
if(!root.isDirectory()){
files.add(root);
}else{
File[] subFiles = root.listFiles();
for(File f : subFiles){
if(!f.isHidden()) {
files.addAll(getFiles(f.getAbsolutePath()));
}
}
}
return files;
}
public static void main(String[]args)throws Exception{
//test文件夹下的所有文件合并成all下的test.txt
unionFile("/Users/xxxx/data/a/b/all/test.txt","/Users/xxxx/data/a/b/test");
}
}