1、在运行Nutch之前,jdk必须已经安装配置好
2、设置NUTCH_JAVA_HOME为 jdk的安装主目录
3、设置 Nutch-site.xml 的Http.agent.name 属性
4、创建 待抓取的URL 文件
5、修改crawl-urlfilter.txt文件
6、运行命令bin/nutch crawl url.txt .......(开始抓取,具体参数自己设定)
7、修改Nutch-site.xml 文件,添加searcher.dir 属性 为 存储抓取数据的目录
8、通过命令行查询:bin/nutch org.apache.nutch.searcher.NutchBean [待查询的关键词]
9、通过tomcat查询,解压tomcat,将tomcat 的webapps安装目录下的ROOT目录删除(或改为另外一个名字),然后新建一个ROOT
目录,将nutch安装目录下的Nutch-*.war文件解压,将解压后的文件夹中的文件拷贝到ROOT目录中,修改ROOT目录中WEB-INF/classes文件夹中的Nutch-site文件,添加searcher.dir属性为存放抓取数据的目录。
(注:如果不修改其他文件,由Nutch-*.war解压后得到的文件需要放到ROOT 目录中才能运行)
参考网址: http://wiki.apache.org/nutch/Nutch_-_The_Java_Search_Engine
nutch 的分布式配置运行 参考网址:http://wiki.apache.org/nutch/NutchHadoopTutorial