Hadoop集群全分布式安装(CentOS)

  本文只是在CentOS下Hadoop环境的搭建步骤,不涉及原理。供自己下次搭建时能有个参考。

1.说明

  由于原先使用的是Ubuntu14.04-server安装的,总是出现各种各样的问题,再请教大牛和网上查资料后觉得用CentOS安装是最快捷的。大家可以先参考前一篇Ubuntu的安装过程,很多过程都是类似的,这里就省略地讲一下了。

2.硬件准备

  • 3台计算机(64位CPU+32G内存+4T硬盘),准备搭建如下hadoop集群。
      集群部署
  • 自己配备U盘一个。

3.安装

  • 安装CentOS,利用UltraISO将下载好的CentOS6.5写入U盘中,然后插入需要安装CentOS的机器上,开机按住F12进入BIOS设置,找到start up选项,找到Boot Model,将原先的Auto改为UEFI。这个问了大牛,大牛说硬盘容量超过2T就需要这样修改,否则系统是安装不成功的,不超过2T就不需要修改。然后保存并退出。在安装过程中,应当将原来的系统覆盖,中途安装程序还会询问。
  • 所有3台机器安装CentOS完成后输入用户名root和相应的密码进入,先将防火墙关闭:chkconfig iptables off
  • 然后在所有机器上输入ssh-keygen -t rsa然后一路回车,此时在home目录下会多出.ssh的隐藏文件,进入该目录里面有id_rsa和id_rsa.pub,前者为私钥,后者为公钥。我们只需要master可以访问node1和node2,所以将master的公钥拷贝至node1和node2的authorized_keys。CentOS不像Ubuntu还需要更新,此时就可以ssh本机和node1、node2了。
  • 此时将hadoop和jdk的安装包利用U盘拷贝到master上,然后修改环境变量,修改hadoop的配置文件,所有这些和前一篇提到的一模一样。
  • 将配置好的jdk和hadoop拷贝到node1和node2上面,再次修改他们的环境变量。
  • 在master上对nameNode进行格式化。
  • 启动start-all.sh完成。
  • 在master上输入jps和在node1上输入jps查看进程运行情况如下:
    master机器上的进程

    node1机器上的进程

4.结束

  本篇比较简短,原因是大多数步骤和上一篇《Hadoop完全分布式集群安装(Ubuntu)》很相似。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值