对比两个txt大文件,写出差异值

该程序能对比两个大txt文件,已测两个400M文件对比,结果在三分钟内执行完毕,需在Linux下执行,Windows下容易出现内存不足。

package test;
import java.io.*;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
public class ReadTxtUtils {
 public static void main(String args[]) {
  readAndWriteFile();
 }
 /**
  * 
  * 读入TXT文件
  * 
  */
 public static void readAndWriteFile() {
   String pathname = "E:/workTRS/vdb/vdb/10.78.1.94_VDB.trs";
   String pathname2 = "E:/workTRS/vdb/vdb/10.78.1.69_VDB.trs";
//  String pathname = "/home/test1/10.78.1.94_VDB.trs";
//  String pathname2 = "/home/test1/10.78.1.69_VDB.trs";
  List<String> List1 = new ArrayList<String>();
  List<String> List2 = new ArrayList<String>();
  Map<String, String> map = new HashMap<String, String>();
  try (
    FileReader reader = new FileReader(pathname); // 建立一个对象,它把文件内容转成计算机能读懂的语言
    BufferedReader br = new BufferedReader(reader);
    FileReader reader2 = new FileReader(pathname2); // 建立一个对象,它把文件内容转成计算机能读懂的语言
    BufferedReader br2 = new BufferedReader(reader2);
  ) {
   String line;
   while ((line = br.readLine()) != null) {
    List1.add(line);
   }
   while ((line = br2.readLine()) != null) {
    List2.add(line);
   }
   System.out.println(List1);
   System.out.println(List2);
   // 下面是写入文件
   File writeName = new File("E:/workTRS/vdb/vdb/output.txt"); // 相对路径,如果没有则要建立一个新的output.txt文件
   writeName.createNewFile(); // 创建新文件,有同名的文件的话直接覆盖
   try (FileWriter writer = new FileWriter(writeName);
     BufferedWriter out = new BufferedWriter(writer)
   ) {
    out.write(ReadTxtUtils.getDiffrent4(List1, List2) + ""); // \r\n即为换
    out.flush(); // 把缓存区内容压入文件
   }
  } catch (IOException e) {
   e.printStackTrace();
  }
 }
 /**
  * 
  * 写入TXT文件
  * 
  */
 public static void writeFile() {
  try {
   File writeName = new File("/home/test1/output.txt"); // 相对路径,如果没有则要建立一个新的output.txt文件
   writeName.createNewFile(); // 创建新文件,有同名的文件的话直接覆盖
   try (FileWriter writer = new FileWriter(writeName);
     BufferedWriter out = new BufferedWriter(writer)
   ) {
    out.write("88888\r\n"); // \r\n即为换行
    out.flush(); // 把缓存区内容压入文件
   }
  } catch (IOException e) {
   e.printStackTrace();
  }
 }
 public static List<String> getDiffrent4(List<String> list1, List<String> list2) {
  Map<String, Integer> map = new HashMap<String, Integer>(list1.size() + list2.size());
  List<String> diff = new ArrayList<String>();
  List<String> maxList = list1;
  List<String> minList = list2;
  if (list2.size() > list1.size()) {
   maxList = list2;
   minList = list1;
  }
  for (String string : maxList) {
   map.put(string, 1);
  }
  for (String string : minList) {
   Integer cc = map.get(string);
   if (cc != null) {
    map.put(string, ++cc);
    continue;
   }
   map.put(string, 1);
  }
  for (Map.Entry<String, Integer> entry : map.entrySet()) {
   if (entry.getValue() == 1) {
    diff.add(entry.getKey());
   }
  }
  return diff;
 }
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值