关于hadoop完全分布式集群搭建

由于毛毛多原因一直没机会跑一个完全分布式,上次由于网络不稳定失败后就一直没在搞过,想想还是做点笔记备忘下。

已经安装好hadoop环境下:

1、配置host文件,即确定各结点ip

2、配置ssh无密码登录

3、配置namenode,修改site

4、配置hadoop-env.sh文件,导入 jdk 就好

5、配置maste与slaves结点文件

6、一致hadoop,分别向各结点复制hadoop

7、格式化namenode

8、启动hadoop,用 jps 检测各进程是否运行成功

9、通过网络查看集群,端口50070查看 namenode 及整个分布式系统,50030查看 jobtracker。

 

纸上谈兵说下比较重要的几点:

1、ifconfig:查看及修改ip

2、第二步比较重要,成功与否关乎后续步骤的进行。

      首先产生公私密钥:ssh-keygen -t dsa -p ' ' -f ~/.ssh/id_dsa

      然后将公钥文件复制成authorized_keys:cat id_dsa.pub >> authorized_keys

      各个slaves结点要包含主结点公钥信息:scp ***@master:~/.ssh/id_dsa.pub  ./master_dsa.pub

      这里最好也对master结点也做上述操作,因为jobtracker有不存在master 结点上的可能。

3、配置master与slaves

      在 master 文件中输入主结点名,在 slaves 文件中输入各个从结点名

4、向各结点复制hadoop

      scp -r ./hadoop 各结点名:~

5、格式化namenode

      如单机模式,hadoop namenode -format

6、启动hadoop

      start-all.sh

最后或用 jps 检查或者通过网络端口都可以查看运行情况。

下星期来集群到位,可以好好玩一把啦~~

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值