原文地址:http://blog.sina.com.cn/s/blog_7645c67301017ban.html
1、下载nutch1.2到指定一个目录下,并打开eclipse新建一个java工程。并选择"Create project
2、下一步操作,切换到"Libraries"选择"Add Class Folder..." 按钮,从列表中选择"conf",继续操作:切换到"Order and Export"找到"conf",把它移到顶。
3、到"Source"将output folder设置为Nutch /bin/tmp_build,点击finish完成导入。
4、 配置文件:nutch-default.xml,nutch-site.xml,crawl-urlfilter.txt。
1) nutch-default.xml
修改此处:
<property>
</property>
2)nutch-site.xml
在<configuration></configuration>中添加:
<property>
3)crawl-urlfilter.txt
删除:MY.DOMAIN.NAME
添加:+^http://([a-z0-9]*/.)*qq.com/
下面是自己的做法:直接就是accept anything else 配置成“+.”。
在nutch目录新建weburls.txt,并添加入口地址:http://www.qq.com
5、执行抓取
运行crawl 可执行类
PS:本文蓝色部分为自己的做法,其它参考于其它文章。