Hadoop配置datanode

本文详述了在Ubuntu系统中为已有Hadoop集群添加Datanode的配置过程,包括设置java环境、配置ssh、拷贝namenode的密钥以及启动hadoop datanode和tasktracker。在配置过程中,遇到的问题如文件源数据不全、文件夹已存在等,以及解决方案也一并给出。
摘要由CSDN通过智能技术生成

     配置完成之后才想起来要写个总结,没有办法及时配图,下次配置的时候补上。

     配置时参考了  http://blog.csdn.net/hguisu/article/details/7237395 很详细,怒赞加顶。

     配置前需要确定本机的ip地址。本人是在ubuntu12.04下配置的,在12.10下配的时候,遇见了文件源数据不全,无法配置ssh的问题,希望有解决该问题的同学提供方法。

     配置hadoop的Datanode大概分为3步,配置java,配置ssh,配置hadoop,三个情况。需要再次强调,本文只是针对在已有集群在添加datanode的情况,如果要从namenode开始配置需要参考上面提供的ip。

    1.建立用户。

      首先需要将namenode里的 /etc/hosts 添加datanode的名称和ip。然后拷贝到datanode下。

      远程namenode ssh namenode@ip

      scp /etc/hosts datanode@ip /etc/hosts

      然后创建用户

      sudo useradd -m username // username表示新创建的用户命 -m 表示创建用户并在/home下创建一个与用户命相同的文件夹

      passwd username 然后就需要你写密码了

   2.创建java环境

      如果不知道linux软件包中带的java版本,可以先输入jps查看。

      sudo apt-get install openjdk-6-java 这样安装的jdk会存在 /usr下

      在之后配置hadoop时,java目录

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值