文档比较去重

public class ReadArticle {

    public static List createData(String filename, ArrayList<String> list) throws IOException {
        //读取段落
        String r;
        String[] rs;

        //读取文章内容
        BufferedReader file1 = new BufferedReader(new FileReader(new File(filename).getAbsoluteFile()));
        try {
            while ((r = file1.readLine()) != null) {
                //消除不必要的标点符号
                r = r.replaceAll("\\s+ |“|\\[|‘|《|　*|", "").trim();
                //留下” ， 。  。”  ”。 ”， ？ 》 -等作为划分句子的分割符标示
                rs = r.split("，|(。”|”(。|，)|。)|(\\])|”|’|？|:|》|-");

                for(String s1: rs){
//                    System.out.println(s1);
                    list.add(s1);
                }
            }
        }finally {
            file1.close();
        }
        return list;
    }

    public static void CompareDoc(List<String> list1, List<String> list2){
        System.out.println("222111222");
        Collection exists = new ArrayList(list2);
        Collection notexists = new ArrayList(list2);
        exists.removeAll(list1);
        notexists.removeAll(exists);
        System.out.println(notexists);

    }

    public static void main(String[] args) throws IOException {
        String filename1 = "C:\\Users\\Administrator\\Desktop\\222.txt";
        String filename2 = "C:\\Users\\Administrator\\Desktop\\lll.txt";
        ArrayList<String> list1= new ArrayList<>();
        ArrayList<String> list2= new ArrayList<>();
        Set set = new HashSet();
        CompareDoc(createData(filename1, list1),createData(filename2, list2)) ;

        Iterator i = set.iterator();
        if(i.hasNext()){
            System.out.println("sss:" + i.next());
        }
    }
}