【hadoop】【linux】在三台阿里云服务器搭建Hadoop集群（centos7）

最新推荐文章于 2022-07-04 15:56:14 发布

一生ea

最新推荐文章于 2022-07-04 15:56:14 发布

阅读量363

点赞数 1

分类专栏： Linux 文章标签： hadoop ssh centos linux

本文链接：https://blog.csdn.net/weixin_39006917/article/details/110833938

版权

在前面单机版基础上搭建一个简单的集群版

同样参考了leanaoo大佬的博客Hadoop集群搭建。

一个主机、两个从机。

主机名	cluster规划
master	namenode,secondarynamenode,ResourceManager
slave1	Datanode, NodeManager
slave2	Datanode, NodeManager

分别修改三台机子的hosts文件

私网IP   master
私网IP   slave1
私网IP   slave2

修改之后最好进行虚拟机reboot重启，让其生效。

基于前面的单机版搭建Hadoop，将对应的主机名分别改为master、slave1、slave2。

更改/usr/hadoop/hadoop-2.7.3/etc/hadoop下的slaves文件

#localhost
slave1
slave2

这个文件就是告诉hadoop该启动谁的datanode

集群版ssh免密登录

三台虚拟机都需要操作

【master机子】

ssh master

进入到~/.ssh

cd ~/.ssh

产生公私钥，一路回车

ssh-keygen -t rsa -P ''

出现下列信息说明成功

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Your identification has been saved in /root

关注