关闭

Java版本的BloomFilter (布隆过滤器)

1747人阅读 评论(0) 收藏 举报

一般比较常见的应用是字符串去重..也就是采集网址去重.防止重复采集

Java代码 复制代码 收藏代码
  1. BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("D:\\Users\\caiqing\\workspace\\CQ\\library\\dictionary-utf8.TXT"),"UTF-8")) ;   
  2.         String str = null ;   
  3.         System.out.println("begin");   
  4.         long start = System.currentTimeMillis() ;   
  5.         while((str=br.readLine())!=null){   
  6.             if(bf.containsAndAdd(str)){   
  7.                 System.out.println("containsAndAdd:"+str);   
  8.             }   
  9.         }   
  10.            
  11.         br.close() ;   
  12.            
  13.         br = new BufferedReader(new InputStreamReader(new FileInputStream("D:\\Users\\caiqing\\workspace\\CQ\\library\\dictionary-utf8.TXT"),"UTF-8")) ;   
  14.             System.out.println("begin-find");   
  15.             start = System.currentTimeMillis() ;   
  16.             while((str=br.readLine())!=null){   
  17.                 if(!bf.contains(str)){   
  18.                     System.out.println("contains:"+str);   
  19.                 }   
  20.             }   
  21.                
  22.         System.out.println(System.currentTimeMillis()-start);   
  23.         br.close() ;  

 

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:750929次
    • 积分:8528
    • 等级:
    • 排名:第2389名
    • 原创:76篇
    • 转载:431篇
    • 译文:0篇
    • 评论:43条
    最新评论