nutch1.4 URLNormalizers 详解

最新推荐文章于 2022-08-27 05:21:13 发布

obite

最新推荐文章于 2022-08-27 05:21:13 发布

阅读量135

点赞数

分类专栏： nutch

本文链接：https://blog.csdn.net/obite/article/details/84177559

版权

nutch 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

org.apache.nutch.net.URLNormalizers

url过滤封装类，过滤器有3个实现类分别是：

//格式化url将url字符小写转换一次，Perl5正则解析URL FILE。
org.apache.nutch.net.urlnormalizer.basic.BasicURLNormalizer
//空方法，不执行任何解析，直接返回url，注：应该是预留接口
org.apache.nutch.net.urlnormalizer.pass.PassURLNormalizer
//根据配置文件regex-urlfilter.txt中的网站爬取规则过滤URL，不符合规则的网站不予爬取
org.apache.nutch.net.urlnormalizer.regex.RegexURLNormalizer

插件包如下：

urlnormalizer-basic.jar

urlnormalizer-pass.jar

urlnormalizer-regex.jar

三个插件包