1.搭建环境:
电脑机型-联想Y450;
处理器-Intel(R) Core(TM) Duo CPU T6500 @ 2.10GHZ 2.10 GHZ;
操作系统-Win7旗舰版32位;
安装内存(RAM)-2.00GB。
2.所用软件包:
jdk-7-windows-i586
apache-tomcat-7.0.27
setup-x86(32-bit installation for cygwin)
apache-nutch-1.2-bin.tar
content.rdf.u8_
content.rdf.u8_
3.详细安装过程:
01.JAVA安装
a.运行jdk-7u5-windows-i586,比如安装到E:\JAVA;
b.配置环境变量,通过“计算机-系统属性-高级系统设置-环境变量”进入环境变量修改环境,增加以下环境变量:
环境变量名:CATALINA_HOME,值:E:\JAVA\JDK
环境变量名:Path,值:%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
环境变量名:CLASSPATH,值:.;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\bin;
c.环境变量配置好后,点击“WIN+R”组合键,输入cmd进入dos环境,运行“javac -version”,若显示出java版本相关信息,则java安装成功;
02.Tomcat安装
a.双击运行相应安装包,选择安装路径,如E:\Tomcat7.0;
b.配置环境变量,通过“计算机-系统属性-高级系统设置-环境变量”进入环境变量修改环境,增加以下环境变量:
环境变量名:TOMCAT_HOME,值:E:\JAVA\Tomcat7.0;
环境变量名:CATALINA_HOME,值:E:\JAVA\Tomcat7.0;
CLASSPATH后增加:%TOMCAT_HOME%\bin;%CATALINA_HOME%\common\lib\servletapi.jar;%CATALINA_HOME%\common\lib\jsp-api.jar;
PATH后增加:%CATALINA_HOME%\bin\
c.启动E:\Tomcat7.0\bin\Tomcat7完成后,浏览器输入http://127.0.0.1:8080,如果显示相应Apache Tomcat相应页面说明Tomcat安装成功。
03.Cygwin安装
a.访问http://www.cygwin.com/,下载setup-x86(32-bit installation for cygwin);
b.下载到本地后,点击setup-x86选择其中一种方式安装即可,假如安装在E:\Cygwin;
c.配置环境变量,通过“计算机-系统属性-高级系统设置-环境变量”进入环境变量修改环境,增加以下环境变量:
PATH后增加:E:\Cygwin\bin;
d.检查Cygwin是否安装成功:打开E:\Cygwin\bin下的mintty,若能正常启动则表示安装成功。
04.Nutch安装
a.解压apache-nutch-1.2-bin.tar至E:\Nutch1.2下,确保bin的母目录即为Nutch1.2;
b.启动Cygwin,运行"df"指令,检查各盘使用情况,通过cd命令改变路径到E:\Nutch1.2;
c.运行"bin/nutch"指令,若出现"Usage:Nutch [-core] COMMAND"相关提示命令,则表示Nutch安装成功,Cheers!
4.网页抓取示例:
01.Nutch1.2爬虫运行(以nutch.apache.org为例)
a.打开E:\Nutch1.2\conf下的nutch-site.xml文件,在<configuration></configuration>中增加以下内容:
<property>
<name>http.agent.name</name>
<value>My Nutch Spider</value>
</property>
<property>
<name>http.agent.version</name>
<value>1.0</value>
</property>
<property>
<name>searcher.dir</name>
<value>E:\Nutch1.2\crawled</value>
</property>
b.启动Cygwin,利用cd命令改变路径到E:\Nutch1.2;
c.通过以下命令完成在Nutch1.2中增加urls文件,在urls中新建target.txt并增加url-http://nutch.apache.org/:
mkdir -p urls
cd urls
touch target.txt
echo http://nutch.apache.org/ >> target.txt
d.打开E:\Nutch1.2\conf下的regex-urlfilter.txt文件,将"#accept anything else"处的"+."替换成:
+^http://([a-z0-9]*\.)*nutch.apache.org/
Tips:去掉nutch.apache.org/也可以,这样表示http的所有网站都爬行;
e.Cygwin中输入命令运行爬虫:
bin/nutch crawl urls/target.txt -dir crawled -depth 3 -topN 5 >&logs/target.log
若Cygwin显示"crawl finished:target",则表示抓取网页完成;
f.如果运行出现"Exception in thread "main" java.io.IOException: Job failed! ",则可通过在Cygwin中输入"export LANG="zh_CN.GBK""即可解决;
g.抓取网页完成后,可通过
bin/nutch org.apache.nutch.searcher.NutchBean nutch进行检查是否抓取成功,如果一直显示抓取为0,则需要修
改E:\Nutch1.2\conf下的nutch-site.xml的property属性。
02.Tomcat7.0展示
a.将nutch-1.2.war拷贝到E:\Tomcat7.0\webapps\下,重启相应Tomcat,这一步可以解压相应war文件;
b.将E:\Nutch1.2\conf下的nutch-site.xml拷贝至E:\Tomcat7.0\webapps\nutch-1.2\WEB-INF\classes下覆盖相应nutch-site.xml文件;
c.重启Tomcat即可,在Nutch页面输入框输入相应关键词,即可查询相关爬虫结果;
d.解决Tomcat的编码问题,打开E:\Tomcat7.0\conf\server.xml,找到"connection Timeout="20000" redirectPort="8443"",在其后增加:URIEncoding="UTF-8" useBodyEncodingForURI="true"
至此,Nutch1.2+Tomcat7.0网页爬虫工具搭建就好啦!
5.参考网址:
01.Nutch wiki:http://wiki.apache.org/nutch/NutchTutorial
02.http://wenku.baidu.com/view/a497821b6bd97f192279e99a.html