一、安装及运行
1、先安装java JDK。这里要注意能默认安装，安装在program files这个文件夹名字有空格，后面会出错，安装在比如D:\Java;这种目录下就行了。同时要配置好Java的环境变量，这个具体怎么设置百度下就很清楚了。
2、下载Cygwin，这个是用来在windows中体验unix,下载解压后就好了。其实Cygwin安装完成之后，会在Windows系统桌面生成一图标，如果没有在安装目录下有个cygwin.bat的文件，双击进入cygwin界面。输入cd /cygdrive/c/apache-nutch-1.7（我是把nutch解压在C盘，在其他路径的自行修改路径）。再输入bin/nutch，如果没有报错，而是出现了where command is one of那就说明安装完成了。
3、在nutch的根目录下新建一个urls文件夹，在urls文件夹里面新建一个urls.txt文件，里面填入需要抓取的url，比如：http://nutch.apache.org/ （主义后面这个“/”不能少）
4、设置url过滤规则。在nutch目录下找到这个conf/regex-urlfilter.txt文件，把
# accept anything else
#+.
改为+^http://([a-z0-9]*\.)*nutch.apache.org/
5、在cygwin下运行cd /cygdrive/c/apache-nutch-1.7 再运行bin/nutch crawl urls -dir crawl -depth 3 就可以看到窗口在抓取网页了。
二、常见问题：
1、先安装java JDK。这里要注意能默认安装，安装在program files这个文件夹名字有空格，后面会出错，安装在比如D:\Java;这种目录下就行了。同时要配置好Java的环境变量，这个具体怎么设置百度下就很清楚了。
2、下载Cygwin，这个是用来在windows中体验unix,下载解压后就好了。其实Cygwin安装完成之后，会在Windows系统桌面生成一图标，如果没有在安装目录下有个cygwin.bat的文件，双击进入cygwin界面。输入cd /cygdrive/c/apache-nutch-1.7（我是把nutch解压在C盘，在其他路径的自行修改路径）。再输入bin/nutch，如果没有报错，而是出现了where command is one of那就说明安装完成了。
3、在nutch的根目录下新建一个urls文件夹，在urls文件夹里面新建一个urls.txt文件，里面填入需要抓取的url，比如：http://nutch.apache.org/ （主义后面这个“/”不能少）
4、设置url过滤规则。在nutch目录下找到这个conf/regex-urlfilter.txt文件，把
# accept anything else
#+.
改为+^http://([a-z0-9]*\.)*nutch.apache.org/
5、在cygwin下运行cd /cygdrive/c/apache-nutch-1.7 再运行bin/nutch crawl urls -dir crawl -depth 3 就可以看到窗口在抓取网页了。
二、常见问题：
1、Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700
看http://yangshangchuan.iteye.com/blog/1839784或者http://www.7mdm.com/1054.html就是用里面的一个文件替换掉nutch下lib目录下的hadoop-core-1.2.0.jar
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
