- 将nutch解压缩(.gz后缀,可以直接用winRar解压)后将文件夹nutch-1.2(包含文件夹下所有文件)放置到c:/cygwin/home下(我放在c:/cygwin/home下);
- 打开cygwin,在cygwin环境下进入nutch-1.2目录下(cd /cygdrive/c/cygwin/home/nutch-1.2),使用命令 bin/nutch进行测试,正常的情况下出现的结果是:
- 抓取网站测试,在C:/cygwin/home/nutch-1.2/下新建一个目录urls,在urls下建一个url.txt文件用以保存需要搜索的网站,在文件中输入http://www.163.com,在C:/cygwin/home/nutch-1.2/下新建一个目录logs,在logs目录下新建log1.log文件用以保存日志文件,在C:/cygwin/home/nutch-1.2/目录下新建一个crawled目录
- 打开C:/cygwin/home/nutch-1.2/conf/nutch-site.xml,按以下示例输入
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>http.agent.name</name>
<value>mynutch</value>
<description>test
</description>
</property>
<property>
<name>http.agent.description</name>
<value>spider</value>
<description> spider
</description>
</property>
<property>
<name>http.agent.url</name>
<value>http://www.xxx.com </value>
<description>http://www.xxx.com
</description>
</property>
<property>
<name>http.agent.email</name>
<value>MyEmail</value>
<description>md.peter@163.com
</description>
</property>
</configuration>
- C:/cygwin/home/nutch-1.2/conf/crawl-urlfilter.txt文件,把MY.DOMAIN.NAME字符替换为myurl内的域名(比如我改成了“+^http://([a-z0-9]*/.)*163.com/”,其实更简单点,直接删除MY.DOMAIN.NAME这几个字就可以了,也就是说,只保存+^http://([a-z0-9]*/.)*这几个字就可以了,表示所有http的网站都同意爬行)。
- 运行爬虫,在Cygwin输入以下命令:
bin/nutch crawl ../urls/url.txt -dir ../crawled -depth 4 -threads 5 -topN 1000 >&logs/log1.log
这里-dir表示存储的目录,-depth表示网址爬的深度,最后是指明日志文件
运行结束后,你可以打开日志文件查看爬虫运行的详细过程。