hadoop集群拓扑配置

本文档详述了如何启动并配置一个包含4台虚拟机的Hadoop集群。首先,通过Xshell连接虚拟机,然后为每台机器配置静态IP和网关,修改主机名。接着,在主节点上进行额外配置,生成并拷贝密钥,确保免密登录。最后,通过SSH验证集群连接成功。整个过程包括网络配置、主机名更改、密钥管理等多个关键步骤,为Hadoop分布式集群的搭建提供了清晰的指导。
摘要由CSDN通过智能技术生成

目录: 

  1. 启动4台虚拟机
  2. Xshell分别连接4台虚拟机
  3. 分别配置静态IP以及网关
  4. 分别修改主机名
  5. 在主机master机器中追加配置
  6. 在主机master生成密钥并进行拷贝
  7. 验证是否集群成功

详细步骤: 

1.启动4台虚拟机

没有安装的就按下面的教程安装即可,安装4台虚拟机后启动

hadoop虚拟机安装(傻瓜式教程)_资深咸鱼~的博客-CSDN博客

2.Xshell分别连接4台虚拟机

也是按上面的教程连接,一个虚拟机连接一个会话端口 

3.分别配置静态IP以及网关

 两种方法:

 第一种:在虚拟机页面输入

vi /etc/sysconfig/network-scripts/ifcfg-ens33

进入这个文件

  

 输入下面的内容,修改成图中所示的情况

BOOTPROTO=static # dhcp 换成 static

ONBOOT=yes # no 换成 yes

追加配置:

IPADDR=192.168.[自己].100 # 静态 IP

GATEWAY=192.168.[自己].1 # 默认网关

 第二种:在xshell中输入

vi /etc/sysconfig/network-scripts/ifcfg-ens33

也是进入这个文件

输入下面的内容,修改成图中所示的情况

BOOTPROTO=static # dhcp 换成 static

ONBOOT=yes # no 换成 yes

追加配置:

IPADDR=192.168.[自己].100 # 静态 IP

GATEWAY=192.168.[自己].1 # 默认网关

输入

service network restart

 使文件生效

两种方法的区别就是一个是在虚拟机中输入,一个是在Xshell中输入,输入的内容没有区别

值得注意的地方就是:

(1)上面提到的[自己]中填写的是主机地址的第三位数字,比如你的地址是192.168.200.135,那么在[自己]处填写的就是200

(2)在每一个虚拟机里面都得修改,修改的内容一样,除了静态IP,比如第一个虚拟机写的100,那么后面分别就是101,102,103

4.分别修改主机名

每一个会话端口内都要输入

vi /etc/hostname

 进入这个文件后将localhost.localdomain改成会话名 

然后退出来 

 5.在主机master机器中追加配置

在master会话中输入:

vi /etc/hosts

 进入文件后,追加配置,输入:

192.168.[自己].100 master

192.168.[自己].101 slave01

192.168.[自己].102 slave02

192.168.[自己].103 slave03

 然后退出来 

6. 在主机master生成密钥并进行拷贝

生成密钥:

ssh-keygen -t rsa

拷贝密匙给其他机器

ssh-copy-id -i root@slave01

ssh-copy-id -i root@slave02

ssh-copy-id -i root@slave03

拷贝在 /etc/hosts中的配置给其他机器

scp -r /etc/hosts slave01:/etc/hosts

scp -r /etc/hosts slave02:/etc/hosts

scp -r /etc/hosts slave03:/etc/hosts

标红的位置写自己取的会话名

密码就是之前创建虚拟机设置的密码(先操作了免密就不用输密码)

7.验证是否集群成功 

在主机master会话端口输入:

ssh root@slaver01

 就会从master直接进入到slave01端口,也就是免密登录了另一台虚拟机

但是前提是slave01的虚拟机处于开启的状态,否则就连接不上,报错

 连接上了的效果图为:

接下来的配置看博主这篇文章~

链接:

Hadoop完全分布式集群配置(续)_资深咸鱼~的博客-CSDN博客

  • 4
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值