本文详细介绍了NUTCH的分布式部署和运行过程，包括ANT的安装、Nutch的编译、配置与部署，以及如何在Hadoop集群上运行Nutch爬虫。在配置中，需要设置http.agent.name，并在seed.txt中添加起始URL。通过hadoop命令将urls文件夹上传到HDFS，然后执行爬虫命令进行分布式爬取。
保留转载法律声明。
部分内容来自于nutch wiki的网络翻译。
本文只有nutch的安装、编译、部署和运行，没有hadoop和debug相关信息。
1. ant的安装
ant是一个基于JAVA的自动化脚本引擎，脚本格式为XML。除了做JAVA编译相关任务外，ANT还可以通过插件实现很多应用的调用。
ANT的基本概念：Java的Makefile
当一个代码项目大了以后，每次重新编译，打包，测试等都会变得非常复杂而且重复，因此c语言中有make脚本来帮助这些工作的批量完成。在Java 中应用是平台无关性的，当然不会用平台相关的make脚本来完成这些批处理任务了，ANT本身就是这样一个流程脚本引擎，用于自动化调用程序完成项目的编译，打包，测试等。除了基于JAVA是平台无关的外，脚本的格式是基于XML的，比make脚本来说还要好维护一些。
每个ant脚本（缺省叫build.xml）中设置了一系列任务(target)：比如对于一个一般的项目可能需要有以下任务。
任务1：usage 打印本脚本的帮助信息（
最低0.47元/天 解锁文章
3052
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
