html书签文件去重

import java.io.*;
import java.nio.Buffer;
import java.util.ArrayList;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class Main1 {

   public static void main(String[] args) throws IOException {

      Pattern r = Pattern.compile(".*HREF=\"(.+?)\" .*");

      Set<String> set=new HashSet<String>();
      List<String> lines = new ArrayList<String>();

      File s =new File("D://like/");

      File[] as = s.listFiles();

      for(File f:as){
         testOneFile(f,set,lines,r);
      }

      BufferedWriter bw  =new BufferedWriter(new OutputStreamWriter(new FileOutputStream("D://aaa.txt")));

      for(String t :lines){
         bw.write(t);
         bw.newLine();
      }
      bw.close();
   }

   private static void testOneFile(File fileName, Set<String> set, List<String> lines, Pattern r) throws IOException {

      FileInputStream fis =new FileInputStream(fileName);
      BufferedReader fr =new BufferedReader(new InputStreamReader(fis,"UTF-8"));
      String line ;
      while((line=fr.readLine())!=null){
//       System.out.println(line);
         Matcher m =r.matcher(line);
         if(m.find()){
            String href = m.group(1);
            if(!set.contains(href)){
               set.add(href);
               lines.add(line);
            }
         }
      }
      fr.close();
      fis.close();

   }
}
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值