[Nutch]Hadoop单机伪分布模式的配置

本文详细介绍了如何配置Hadoop单机伪分布模式,以供Nutch的Deploy模式使用。首先下载hadoop 1.2.1并解压,接着设置Hadoop环境变量,然后配置core-site.xml、hdfs-site.xml、mapred-site.xml和hadoop-env.sh文件。完成配置后,格式化名称节点,启动集群,并通过Web管理界面检查JobTracker、TaskTracker和NameNode的状态。
摘要由CSDN通过智能技术生成

在之前的博文中,我们一直在使用Nutch的local模式,那么Nutch的Deploy模式该怎么使用呢?首先我们来配置hadoop,为使用Nutch的deploy模式做准备。

1. 下载hadoop

在workspace目录使用如下命令下载hadoop 1.2.1:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载之后进行解压:

tar -zxvf hadoop-1.2.1.tar.gz 

2. 设置Hadoop运行环境

将hadoop的路径加入到当前用户的配置文件(.bashrc)里面:
用vim打开配置文件

vim ~/.bashrc

将doop的路径加入到PATH里面:

export PATH=/home/kandy/workspace/hadoop-1.2.1/bin:$PATH

如下:
这里写图片描述

重新登陆当前账号即可生效:

ssh localhost

查看hadoop的路径:

which hadoop

结果如下:
这里写图片描述

3. 配置hadoop运行参数

进入hadoop的根目录:

cd hadoop-1.2
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值