nutch1.4 URLFilter详解

org.apache.nutch.net.URLFilter接口有如下实现类:

 

 

Java代码   收藏代码
  1. 1//匹配suffix, domain, host  
  2.   
  3. org.apache.nutch.urlfilter.domain.DomainURLFilter  
  4.   
  5. 2//程序代码结构实现同相同,不知道为什么一模一样,没仔细琢磨。  
  6.   
  7. org.apache.nutch.urlfilter.domainblacklist.DomainBlacklistURLFilter  
  8.   
  9. 3//解析URL是否符合./conf/nutch-default.xml的 "urlfilter.prefix.file"属性规则   
  10.   
  11. org.apache.nutch.urlfilter.prefix.PrefixURLFilter  
  12.   
  13. 4// 解析URL是否符合./conf/nutch-default.xml的 " suffix-urlfilter.txt "属性规则      
  14.   
  15. org.apache.nutch.urlfilter.suffix.SuffixURLFilter  
  16.   
  17. 5//正则解析验证URL是否书写规范的有效地址。  
  18.   
  19. org.apache.nutch.urlfilter.validator.UrlValidator  

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值