nutch配置文件调用说明

org\apache\nutch\util下的NutchConfiguration.java在NUTCH中占有重要地位,他读取"nutch-default.xml"和"nutch-site.xml"两个配置文件。NUTCH的其他工具都有一个Configuration对象,这个读取就一般用NutchConfiguration实例化,从而获得该工具相应的配置参数。如URL过滤工具就会在nutch-default.xml寻找相关的配置文件regex-urlfilter.txt、automaton-urlfilter.txt、prefix-urlfilter.txt、suffix-urlfilter.txt从而获取相应的过滤规则。
另一关键点是:nutch-default.xml还通过plugin.includes属性找到需要的扩展插件(Extention),默认的插件是protocol-http|urlfilter-regex|parse-(text|html|js)|index-basic|query-(basic|site|url)|summary-basic|scoring-opic|urlnormalizer-(pass|regex|basic)(利用与正则表达式对插件进行过滤)
Extention在NUTCH中扮演重要角色,网页抓取、URL过滤功能都是通过插件实现的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值