nutch2.0 分布式环境配置

前提条件：

1. Hadoop 环境

2. cassandra数据库

3.JDK 1.6 以上

当确保以上环境配置完成后，下面介绍下怎么在hadoop环境部署nutch2.0:

nutch1.3以后nutch的分布式配置就非常的简单，我们只需要把eclipse中调试好的源代码Ant编译打包后，把build文件下的nutch-2.0.job拷贝到其中一个节点上（当然还包括runtime/deploy/bin）， 然后执行脚本即可运行nutch。

这个地方就要仔细说一下这个job包：

大家都很清楚，hadoop 会自动分发任务，也就是我们的job包会被分到不同的节点上执行，那么job包中一定含有Nutch执行所需要的全部文件（包括各种的lib，以及conf文件，插件 等等）。所以就有了为什么要修改nutch-default.xml中plugin.folders属性.

ps:

环境问题搞死人，有的时候一个小小的配置会耽误很长的时间，所以多看log是最好的解决办法