java写文件 去除重复内容_java读取文本文件，并且去除重复字段

package ToolUnitl; import java.io.BufferedInputStream;  import java.io.BufferedReader;  import java.io.File;  import java.io.FileInputStream;  import java.io.InputStreamReader;  import java.io.Reader;  import java.util.ArrayList; import org.junit.Test; /**  * @功能说明：读取文本文件，并去除重复字段  * @author: qiao  * @time:2014-1-3下午5:21:41  * @version:1.0  *  */ /**  * @author 码农小江 H20121012.java 2012-10-12下午11:40:21  */ public class readFileDeleteRepeat { /** * 功能：Java读取txt文件的内容 步骤： * 1：先获得文件句柄  * 2：获得文件句柄当做是输入一个字节码流，需要对这个输入流进行读取 * 3：读取到输入流后，需要读取生成字节流      *4：一行一行的输出。readline()。 备注：需要考虑的是异常情况 *  * @param filePath */ public void readTxtFile(String filePath) { try { String encoding = "GBK"; File file = new File(filePath); if (file.isFile() && file.exists()) { // 判断文件是否存在 InputStreamReader read = new InputStreamReader( new FileInputStream(file), encoding);// 考虑到编码格式 BufferedReader bufferedReader = new BufferedReader(read); String lineTxt = null; ArrayList ayyarsListText = new ArrayList(); // 得到文件中的数据 while ((lineTxt = bufferedReader.readLine()) != null) { ayyarsListText.add(lineTxt); } read.close(); ArrayList resultList = new ArrayList(); // 去除文件中的重复数据 for (String item : ayyarsListText) { if (!resultList.contains(item)) { resultList.add(item); } } System.out.println("结果:" + resultList); } else { System.out.println("找不到指定的文件"); } } catch (Exception e) { System.out.println("读取文件内容出错"); e.printStackTrace(); } } @Test public void testReadFile() { String filePath = "C:\\Users\\qiao\\Desktop\\iatano.txt"; readTxtFile(filePath); } }