java读多个TXT文件、去重、合并

package com.txt;


import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.HashSet;
import java.util.Set;


/**
* Reader and Writer(读取多个txt文件,去掉重复元素,再写入一个新的txt文件。)
*
* @author Administrator
*
*/
public class Raw {


/**
* 读取指定目录下的txt文件,并添加到set里面(即去掉重复元素)
*
* @param path
* @return setStr
*/
public static Set<String> Reader(String path) {
Set<String> setStr = new HashSet<String>();


try {
String encoding = "GBK";
File file = new File(path);
String[] fileList = file.list();


for (String fl : fileList) {
String newPath = path + "\\" + fl;
InputStreamReader read = new InputStreamReader(
new FileInputStream(newPath), encoding);// 考虑到编码格式
BufferedReader bufferedReader = new BufferedReader(read);
String lineTxt = null;
while ((lineTxt = bufferedReader.readLine()) != null) {
if (!lineTxt.trim().equals("")) {
setStr.add(lineTxt);
}
}
read.close();
}
} catch (Exception e) {
System.out.println("读取文件内容出错");
e.printStackTrace();
}


return setStr;
}


/**
* 将set里面的数据写入到一个新的txt文件里面
*
* @param str
* @throws IOException
*/
public static void Writer(Set<String> str) throws IOException {
FileWriter fileWriter = new FileWriter("D:\\Result.txt");
int count = 0;
for (String string : str) {
if (!string.trim().equals("")) {
count++;
fileWriter.write(string.trim() + "\r\n");
}
}
System.out.println(count);
fileWriter.flush();
fileWriter.close();
}


public static void main(String[] args) throws IOException {
System.out.println("set>>>" + Reader("D:\\Stop words"));
Writer(Reader("D:\\Stop words"));
}


}

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值