nutch插件扩展点

2019独角兽企业重金招聘Python工程师标准>>>

indexingFiltering：
org.apache.nutch.indexer.IndexingFilter
允许为所索引中的Field添加元数据。所有的实现了这个接口plugin会在分析的过程中顺序的逐个运行.

Parser：
org.apache.nutch.parse.Parser    如果你要在nutch中扩展分析一个新内容类型或者从现有的可分析的内容摘取更多的数据。可实现接口parser,读取所抓取的document，摘取将被索引的数据。

HtmlParseFilter:
org.apache.nutch.parse.HtmlParseFilter
为html parser添加额外的元数据
这个接口是对以DOM树为基础的HTML文档的分析器的扩展点,它允许你向这个HTMLParsers添加metadata.

protocol：
org.apache.nutch.protocol.Protocol
实现Protocol的plugin可以使得nutch能使用更多的网络协议（ftp，http）去抓取数据

URLFileter：
org.apache.nutch.net.URLFilter
实现这个扩展点的plugin会对nutch要抓取的网页的urls进行限制，RegexURLFilter提供了通过正则表达式来对Nutch爬行网页的urls的控制。如果你对urls还有更加复杂的控制要求，你可以编写对这个urlfilter的实现

URLNormalizer:
org.apache.nutch.net.URLNormalizer
URL规范化

ScoringFilter:
org.apache.nutch.scoring.ScoringFilter
Nutch分数计算接口,可通过实现该接口以影响Nutch分数的计算方式，其默认的OPIC分数计算方法由类 OPICScoringFilter 提供。此外，参与计算分数的类还有 ScoringFilters，ParseOutputFormat。其中 ScoringFilters 负责将各个计分插件加载到系统中，并实现链式计分的过程；而ParseOutputFormat在解析结果输出之前，将页面的分数分配到该页面的各个子页 面中，使得Nutch的更新模块可以使用这些数据更新CrawlDB数据库。

SegmentMergeFilter:
org.apache.nutch.segment.SegmentMergeFilter
segment合并过滤接口。按一定的规则将多个SEGMNET进行合并、过滤。

转载于:https://my.oschina.net/junfrank/blog/286379