在之前的博文中,我们一直在使用Nutch的local模式,那么Nutch的Deploy模式该怎么使用呢?首先我们来配置hadoop,为使用Nutch的deploy模式做准备。
1. 下载hadoop
在workspace目录使用如下命令下载hadoop 1.2.1:
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
下载之后进行解压:
tar -zxvf hadoop-1.2.1.tar.gz
2. 设置Hadoop运行环境
将hadoop的路径加入到当前用户的配置文件(.bashrc)里面:
用vim打开配置文件
vim ~/.bashrc
将doop的路径加入到PATH里面:
export PATH=/home/kandy/workspace/hadoop-1.2.1/bin:$PATH
如下:
重新登陆当前账号即可生效:
ssh localhost
查看hadoop的路径:
which hadoop
结果如下:
3. 配置hadoop运行参数
进入hadoop的根目录:
cd hadoop-1.2