合并两个文件,并且排除掉重复的内容

原创 2016年05月31日 11:20:30

/**

*说明:文本内容以换行为一组

*/

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.InputStreamReader;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;


public class MergeFile {

public static void main(String[] args) throws Exception {
Scanner scanner = new Scanner(System.in);
System.out.println("输入合成文件的路径及文件名:");
String newFile = scanner.nextLine();
File mergeFile = new File(newFile);
if(!mergeFile.exists()){
mergeFile.createNewFile();
}
System.out.println("输入第一个文件的路径及文件名:");
String file1 = scanner.nextLine();

System.out.println("输入第二个文件的路径及文件名");
String file2 = scanner.nextLine();
scanner.close();
List<String> list1 = readFileByLine(file1);
List<String> list2 = readFileByLine(file2);
FileWriter fw = new FileWriter(mergeFile,true);
for (String s1 : list1) {
for (String s2 : list2) {
if(s1.equals(s2)){
System.out.println("same:"+s2);
continue;
}
}
fw.write(s1+System.getProperty("line.separator"));
}
for (String s2 : list2) {
fw.write(s2+System.getProperty("line.separator"));
}
fw.close();
}

public static List<String> readFileByLine(String fileName) throws Exception{
InputStreamReader isr = new InputStreamReader(new FileInputStream(fileName),"UTF-8");
BufferedReader br = new BufferedReader(isr);
String s = "";
List<String> existEnterprise = new ArrayList<String>();
while((s=br.readLine())!=null){
existEnterprise.add(s);
}
isr.close();
br.close();
return existEnterprise;
}


}

java中list去重合并那点事

需求很简单,就是有两个List A和B,它们有重复的部分,怎么去重后合并在一起,好,那我们开始思考。 然而我的第一反应居然是遍历判断,百度搜了一下后发现我的java真是白学了。。。List是自带的方...
  • u012355401
  • u012355401
  • 2015年12月23日 11:07
  • 553

Linux文件合并去除重复内容

第一:两个文件的交集,并集 前提条件:每个文件中不得有重复行 1. 取出两个文件的并集(重复的行只保留一份) 2. 取出两个文件的交集(只留下同时存在于两个文件中的文件) 3. 删除交集,留下...
  • yu1013708633
  • yu1013708633
  • 2016年08月05日 21:42
  • 780

Java学习笔记---实现两个ArrayList合并,并去掉重复数据的算法

转载博客地址 http://blog.sina.com.cn/s/blog_5da93c8f0101fdrp.html 有两个ArrayList,分别为list1和list2,分析这两...
  • juhua2012
  • juhua2012
  • 2016年10月23日 12:54
  • 2357

合并两个数组并删除重复的元素

一直有两个数组,去除重复的元素,并把两个数组合并 思路: 把数组b中的元素取出与数组a中的每一个元素相比较,在数组a中存在,则不添加到数组a中; 如果不存在,则直接加到数组a中。 满足条件: ...
  • qingzhou4122
  • qingzhou4122
  • 2017年01月09日 22:05
  • 593

java读多个TXT文件、去重、合并

package com.txt; import java.io.BufferedReader; import java.io.File; import java.io.FileInput...
  • huanghui036
  • huanghui036
  • 2013年11月12日 10:12
  • 3606

Linux下文本文件合并和去除重复操作

Linux下处理文本的能力还是很强大的。 本文主要涉及到的命令为cat  uniq sort。 一 命令简单介绍 cat:将文本文件读出来 (concatenate files and print ...
  • u012851076
  • u012851076
  • 2016年01月23日 11:10
  • 6715

两个有序数组的合并排序,Java代码实现,并去重复,考虑空间利用率问题

题目:有两个有序数组a,b,现需要将其合并成一个新的有序数组。 简单的思路就是先放到一个新的数组中,再排序。但是这样的没体现任何算法,这里考的不是快速排序等排序算法。关键应该是如何利用 有序 已知这...
  • qq_27093465
  • qq_27093465
  • 2016年09月20日 16:12
  • 4257

shell合并文件去重

有三种方法: 1. paste paste -d”\n” file1 file2 | sort | uniq > file3 cat cat file1 file2 | sort | uniq ...
  • okiwilldoit
  • okiwilldoit
  • 2016年04月21日 14:59
  • 1227

两个List合并去重

今天遇到一个合并去重问题,从网上搜索一样总结出来两个比较简单的方法,这里去重是只能取出地址相同的数据,例如:如果两个字符串的值相同但都是单独new出来的这样去不了 @Test public vo...
  • qq_29631069
  • qq_29631069
  • 2017年03月05日 21:09
  • 1051

mysql 结果集去重复值并合并成一行

mysql,结果集合并,去重复值,GROUP_CONCAT(distinct(XX))
  • a355586533
  • a355586533
  • 2016年08月01日 15:16
  • 7055
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:合并两个文件,并且排除掉重复的内容
举报原因:
原因补充:

(最多只允许输入30个字)