因为nutch 1.3跟以前比改了不少东西,所以1.2中的有些配置已经不在适用了
首先我的机器用的是ubuntu 10.04,挺老的版本了,因为有它的光盘,一直没有升级
当然是先下载nutch的包了,用的人人的镜像http://labs.renren.com/apache-mirror//nutch/
只有先会用了才能进行下一步的工作嘛,所以介绍一下最简单的配置方法:
1. 修改nutch解压目录中的runtime/local/bin/nutch脚本的执行权限 chmod 755 nutch
2. 修改runtime/local/conf 里面的nutch-site.xml,在configuration标签中增加如下标签
<property>
<name>http.agent.name</name>
<value>看样子可以填任何你想取的爬虫crawl的名字</value>
<description></description>
</property>
3.在此前提到的local目录下建抓取起始url文本myurl,和抓取结果存放目录mydir
4.myurl中可以加入任何你想抓取的地址,比如www.sina.com.cn
5.然后配置local目录下conf目录中的automaton-urlfilter.txt,将最后一行以+开关的行改为+^http://([a-z0-9]*\.)*sina.com.cn/,第2 个星号后的域名可以自定义
6.最后可以开始运行了,在local目录下,执行./bin/nutch crawl myurl -dir mydir -depth 2 -threads 2 -topN 4
-dir 选项设置抓取结果存放目录
-depth 选项设置爬取的深度
-threads 选项设置并行爬取的线程数
-topN 选项设置每个深度爬取的最大页数
最后就可以查看mydir中的结果了
对于已经安装了tomcat,可以直接搜索的情况,则可更进一步
- 在tomcat上运行Nutch
把nutch-1.2.war拷贝到Tomcat//webapps/下面,重启tomcat,这步是为了使tomcat展开nutch-1.2.war,然后修改webapps/ nutch-1.2/WEB-INF/classes/nutch-site.xml文件如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>searcher.dir</name>
<value>填上存放抓取结果的目录</value>
</property>
</configuration>