nutch本地模式调试可以跟踪详细的爬取过程,便于调试。现将环境配置做如下说明:
1、apache官网下载nutch文件,我们以apache-nutch-1.4-bin.tar.gz 为例。将apache-nutch-1.4-bin.tar.gz解压到linux工作目录。
2、执行 chmod +x runtime/local/bin/nutch 修改权限。
3、runtime/local 目录下运行命令 ./bin/nutch
4、安装提示说明做配置调整。
5、以上操作过程完成后nutch即可以正常爬取数据。
注意事项:
1、本地模式的nutch不需要在conf目录中添加hadoop的配置文件,一旦添加就会在hadoop中运行服务,此处要注意。
2、在local中添加urls文件并创建任意文本,内容为待排去的网站地址。
自定义nutch:
1、将编译好的runtime/local/lib中的apache-nutch-*.jar 同步覆盖服务器中的runtime/local/lib中的apache-nutch-*.jar
2、覆盖runtime/local/plugins文件夹中的插件。