为了搭建Hadoop集群而配置Linux虚拟机出现的多种问题---持续更新

小诗一首,后续来做。

近些天再配置Hadoop,为此重新打开VMware,然后出现了一下的坑

1、VM15的版本不知道为何,安装好后会莫名奇妙的黑屏,各种问题。

解决办法:卸载后,重新配置安装的VM12后,至少安装后不会出现黑屏,打不开卡死等问题了。

2、克隆时不能选择正在运行的快照进行克隆。

在这里插入图片描述

解决办法:把虚拟机先关了再去拍摄快照,然后再克隆。

3、选择net网络链接,虽说可以链接外部网络,但是和主机以及克隆后的虚拟机都无法进行ping操作。

解决方法:首先去Linux虚拟机里面观察下我们的虚拟机的IP地址

命令:ifconfig
然后去windows上的

在这里插入图片描述
VMnet8看下其IPv4的地址是否与其一样
在这里插入图片描述
在这里插入图片描述
如果是自动获取IP,你给修改下,修改成使用你现在在window的cmd里面看到的ip地址
在这里插入图片描述
这一步过后,去到VMware里面去看一下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里面的网关IP的前三个要与你在Windows里面看的一样
在这里插入图片描述
这里也一样。
ok到目前为止虚拟机之外的我们就修改配置好了,接下来去配置虚拟机内部的
首先把IP获取方式改为静态获取,咱们就三台虚拟机就行了

master:192.168.80.3
slave1:192.168.80.4
slave2:192.168.80.5

我们就来修改下slave2的ip配置
在这里插入图片描述
修改时注意两个命令:

1、你要已root的权限去修改,切换回root用户的命令为
su root
2、然后就是你修改完后使用`:wq`保存退出
修改的内容课可对照着去改下。
改完后请重启一下让他生效。

4、对于修改/etc/hosts文件,这是配置ip地址的名字

就好比是,192.168.80.3 master

这就是说我下次在ssh master 也就等于ssh 192.168.80.3
好的我们接下来配置slave2的hosts
效果如下图,命令也在其中
在这里插入图片描述

5、接下来是ssh免密登录的坑

我想要让这三台机子都互相免密登录,这里提供和记录下我得步骤。
由于我得master这个机子和slave1这个机子都配置好了且可以互相免密登录了,那么我现在就需要slave2这个机子和其他两个免密登录。步骤如下:
如果不配置免密登陆的效果是这样的
在这里插入图片描述

那么接下来就是配置了。
首先生成slave2的密匙ssh-keygen -t rsa
在这里插入图片描述
生成好后把公共密匙放在authorized_keys
cat id_rsa.pub >> authorized_keys
在这里插入图片描述
然后再将这个authorized_keys 分发到master
在这里插入图片描述
但这样会使master中本来存在的公共密匙丢失。
在这里插入图片描述

解决办法

将slave1中的authorized_keys发送到slave2,
在这里插入图片描述
这是被传过后slave2的密匙
在这里插入图片描述

然后再将slave2产生的公共密匙放在其中,再分发到master和slave1
在这里插入图片描述
多了一个吧。
在这里插入图片描述
这个时候我们就可以免密登录了。
测试一下

slave2的

在这里插入图片描述

slave1的

在这里插入图片描述

master的

由于在known_hosts里面没有slave2所以需要输入一次yes,你看下一次就不需要了呢。
在这里插入图片描述
在这里插入图片描述
ok
今天先到这。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
虚拟机搭建 Hadoop 集群可以通过使用虚拟化软件如 VMware 或 VirtualBox 来实现。以下是一个简单的步骤: 1. 首先,下载并安装虚拟化软件,如 VMware 或 VirtualBox。 2. 下载 Hadoop 的稳定版本,并解压缩到一个目录中。 3. 创建一个虚拟机,并为每个节点分配足够的资源(如 CPU、内存和存储)。 4. 安装操作系统,推荐使用 Linux 发行版,如 Ubuntu 或 CentOS。确保在每个节点上都安装了相同的操作系统版本。 5. 配置网络设置,确保虚拟机之间可以相互通信。可以选择使用 NAT、桥接模式或者创建一个内部网络。 6. 在每个节点上安装 Java 运行环境,Hadoop 是基于 Java 开发的。 7. 配置 Hadoop 环境变量,将 Hadoop 的 bin 目录添加到 PATH 环境变量中。 8. 编辑 Hadoop配置文件,主要包括 core-site.xml、hdfs-site.xml 和 mapred-site.xml。配置文件中需要指定各个节点的 IP 地址和端口号。 9. 启动 Hadoop 的各个组件,包括 NameNode、DataNode、ResourceManager、NodeManager 和 JobHistoryServer。 10. 在浏览器中访问 Hadoop 的管理界面,确认集群是否正常运行。 以上是一个简单的搭建 Hadoop 集群的步骤,实际操作中可能还需要进行一些额外的配置和调整。请注意,这只是一个基础的搭建过程,具体的步骤可能会因个人环境和需求而有所不同。如果遇到问题,可以参考 Hadoop 的官方文档或者在相关的社区寻求帮助。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值