上篇博客中,我们搭建了单机版和伪分布式版的hadoop。但是在真正的开发中都是用的完全分布式hadoop环境。
因此今天我们就来搭建一下完全分布式hadoop环境。
前提:有四台解压了hadoop和javajdk,且其中一台作为namenode需要已经搭建成了伪分布式,其他三台作为datanode,所以这三台还不需要配置环境
完全分布式hadoop
在xshell中右击,最下方有个“发送键输入到所有会话”,点击后可以在一台输入时,当前所有会话都有反应了。
然后开始编辑:
在datanode中
1.vim /etc/profile 将hadoop和java环境配置一下
在namenode中
2.vim slaves 设置三个datanode的ip
3.vim /etc/hosts
4.将这些文件传到datanode上
使用
scp -r 要传输的内容目录 要穿到的电脑的用户名@要穿到的电脑的ip:要穿到的电脑的位置目录
将三台都穿好
然后ssh-keygen 生成密钥 直接四个空格
然后 将三个 配置好,这样就可以免密登录了ssh-copy-id datanode的用户名@datanode的ip
和cat id_rsa.pub >> ~/.ssh/authorized_keys 配置namenode的免密
最后在namenode上
使用start-all.sh启动
这时使用jps查看namenode和三个datanode
在namenode中的显示
在datanode中的显示
那么这时你的完全分布式就搭建完成啦