【VM虚拟机配置集群环境】以尚硅谷23年最新hadoop视频为例，遇到的虚拟机卡死，无法建立主机与虚拟机通信，以及虚拟机联网问题

最新推荐文章于 2024-08-11 19:59:57 发布
最新推荐文章于 2024-08-11 19:59:57 发布
阅读量408 收藏
点赞数 2
文章标签： hadoop 音视频 php 大数据 分布式 centos linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kingcrimson014/article/details/132958065
版权

项目场景：

通过vm搭建虚拟机完成hadoop的前置环境配置

问题描述

  1. 虚拟机卡死问题(开机一会后，直接卡死，cpu100%)
  2. 虚拟机与主机间无法建立通讯
  3. 虚拟机无法与ping通外网

我这里是安装b站上，尚硅谷的大数据教程(2023版)设置的ip及其配置文件
每个人的ip配置可能都不同，这里的问题及其修改只针对这个视频的配置文件

原因分析：

遇事不决直接重装

  1. 主要是软件设置和系统设置的问题
  2. vm虚拟网卡的设置问题，因为我之前禁用过这个网卡造成的这问题
  3. 其实也是vm虚拟网卡的问题，还有ip冲突问题，首先修改了/etc/resolv.conf文件，将nameserver修改为8.8.8.8和114.114.114.114仍然没有网络，因此我开始修改/etc/sysconfig/network-scripts/ifcfg-ens33中的配置结果任然没有网络，然后我试图重启network结果发现重启失败，直接报错:
Job for network.service failed because the control process exited with error code. See "systemctl status network.service" and "journalctl -xe" for details.

我输入systemctl status network.service后输出

● network.service - LSB: Bring up/down networking
Loaded: loaded (/etc/rc.d/init.d/network; bad; vendor preset: disabled)
Active: failed (Result: exit-code) since Sat 2023-09-16 23:50:49 PDT; 2min 33s ago
Docs: man:systemd-sysv-generator(8)
Process: 11246 ExecStart=/etc/rc.d/init.d/network start (code=exited, status=1/FAILURE)

Sep 16 23:50:49 node1 network[11246]: RTNETLINK answers: File exists
Sep 16 23:50:49 node1 network[11246]: RTNETLINK answers: File exists
Sep 16 23:50:49 node1 network[11246]: RTNETLINK answers: File exists
Sep 16 23:50:49 node1 network[11246]: RTNETLINK answers: File exists
Sep 16 23:50:49 node1 network[11246]: RTNETLINK answers: File exists
Sep 16 23:50:49 node1 network[11246]: RTNETLINK answers: File exists
Sep 16 23:50:49 node1 systemd[1]: network.service: control process exited, ...=1
Sep 16 23:50:49 node1 systemd[1]: Failed to start LSB: Bring up/down networking.
Sep 16 23:50:49 node1 systemd[1]: Unit network.service entered failed state.
Sep 16 23:50:49 node1 systemd[1]: network.service failed.
Hint: Some lines were ellipsized, use -l to show in full.

发现错误原因为“RTNETLINK answers: File exists”,表示存在一个网络接口或路由的冲突。然后我接着输入ifconfig -a 后输出:

ens33: flags=4098<BROADCAST,MULTICAST> mtu 1500
ether 00:50:56:21:c4:b6 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10<host>
loop txqueuelen 1000 (Local Loopback)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
inet 192.168.122.1 netmask 255.255.255.0 broadcast 192.168.122.255
ether 52:54:00:b7:b7:57 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

virbr0-nic: flags=4098<BROADCAST,MULTICAST> mtu 1500
ether 52:54:00:b7:b7:57 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

ens33：这是以太网接口，但是根据输出，没有接收或发送任何数据包.因此我移除了ens33文件并重新写了一个ens33文件，输入ifup ens33启动ens33配置，结果输出

Error: Connection activation failed: No suitable device found for this connection.

重启虚拟机后，输入ifconfig -a后输出:

ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.88.128 netmask 255.255.255.0 broadcast 192.168.88.255
inet6 fe80::250:56ff:fe21:c4b6 prefixlen 64 scopeid 0x20<link>
ether 00:50:56:21:c4:b6 txqueuelen 1000 (Ethernet)
RX packets 1945 bytes 527281 (514.9 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 144 bytes 14445 (14.1 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

这里"inet"的地址居然与我写入到ens33文件中的地址不一样，查阅资料后觉得可能是NetworkManager的问题；NetworkManager是一个在Linux系统中管理网络连接的服务。它提供了一种简化和自动化网络配置的方式，可以管理有线和无线网络接口，并允许用户轻松地切换网络连接.

解决方案：

1.虚拟机开机死机问题

在网上看了各种设置说什么加cpu核心加内存什么的，都没有改变状况，最后找到了两篇对我有帮助的文章，一是修改虚拟机和vmware软件的配置:

1.点击虚拟机设置
2.点击“选项”，选中“高级”，将“抓取的输入内容”调为“高”，并勾选设置框中的“禁用内存页面修整”
3.修改vmware设置，打开上面的“编辑” 点“首选项”，将“优先级”，右侧将“抓取的输入内容”调为“高”
修改
软件设置

二是修改系统的配置:

  1. 禁用HIV主机服务
    打开WIN+R，输入打开services.msc;下滑找到HIV服务，双击设置为禁用
    HIV
    操作
  2. 关闭Hyper-V服务
    使用管理员命令运行cmd输入bcdedit /set hypervisorlaunchtype off命令重启电脑即可

2.虚拟机无法与主机建立通讯

在按照视频设置好ens33配置文件和vmnet8的设置后，按理说是没有问题的，若出现问题，以我为例，我发现我禁用了vmnet8，导致无法建立通信，在启用后，仍然无法建立通信，尝试了多次修改配置文件后，无解，最后通过，恢复默认设置解决
默认设置
恢复默认设置后，将vmnet8的ip等按照视频设置好。在主机ping虚拟机能ping通，至此，也可以用finalshell通过ssh链接虚拟机。

3.虚拟机无法与ping通外网

通过上述分析怀疑是NetworkManager服务造成的ip冲突，输入systemctl status NetworkManger后输出

NetworkManager.service - Network Manager
Loaded: loaded (/usr/lib/systemd/system/NetworkManager.service; enabled; vendor preset: enabled)
Active: active (running) since Sun 2023-09-17 00:44:12 PDT; 36min ago
Docs: man:NetworkManager(8)
Main PID: 8606 (NetworkManager)
Tasks: 3
CGroup: /system.slice/NetworkManager.service
└─8606 /usr/sbin/NetworkManager --no-daemon

Sep 17 00:55:11 node1 NetworkManager[8606]: <info> [1694937311.8911] device (ens33): carrier: link connected
Sep 17 01:00:17 node1 NetworkManager[8606]: <info> [1694937617.4996] ifcfg-rh: update /etc/sysconfig/ne...33")
Sep 17 01:00:17 node1 NetworkManager[8606]: <info> [1694937617.6683] audit: op="connection-activate" uu...on."
Sep 17 01:04:29 node1 NetworkManager[8606]: <info> [1694937869.7786] ifcfg-rh: new connection /etc/sysc...33")
Sep 17 01:04:29 node1 NetworkManager[8606]: <info> [1694937869.7788] ifcfg-rh: remove /etc/sysconfig/ne...33")
Sep 17 01:04:29 node1 NetworkManager[8606]: <info> [1694937869.9445] audit: op="connection-activate" uu...on."
Sep 17 01:05:30 node1 NetworkManager[8606]: <info> [1694937930.9535] audit: op="connection-activate" uu...on."
Sep 17 01:07:47 node1 NetworkManager[8606]: <info> [1694938067.4939] audit: op="connection-activate" uu...on."
Sep 17 01:10:09 node1 NetworkManager[8606]: <info> [1694938209.4059] audit: op="connection-activate" uu...on."
Sep 17 01:14:26 node1 NetworkManager[8606]: <info> [1694938466.9938] audit: op="connection-activate" uu...on."
Hint: Some lines were ellipsized, use -l to show in full

发现“NetworkManager”服务正在运行，尝试关闭服务后重启网络，输入如下指令:

systemctl stop NetworkManager
systemctl disable NetworkManager
service network restart

发现network重启成功，ipconfig -a的输出中ens33 的inet也和配置文件一致，尝试ping 百度。发现能ping通，因此问题解决。

以上仅记录我本人机器遇到的问题和我自己尝试的解决方法，如有说法不当，请大佬批评指正

Kingcrimson014
关注
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 7442
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
《大数据： Hadoop（HDFS） 架构介绍与安装》
yexiangCSDN的专栏
08-26 152
一、Hadoop 1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！ 2.hadoop中的组件 1.x HDFS： 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块！ MapReduce: 负责计算，负责计算资源的申请的调度！ 完成大数据的计算 ①写程序，程序需要复合计算框架的要求！ java---->main----->运行 MapReduce(编程模型)----->Map--Reducer ②...
主机不能连接虚拟机的数据库
xjm18326122914的博客
05-30 1190
主机不能连接虚拟机的数据库一些操作说明
主机与虚拟机不能通信
weixin_34162629的博客
08-05 286
实验环境：window 7(host) +CentOS 6.5(virtual) 1.在装完了虚拟机之后，经常会出现虚拟机不能上网(默认:主机都是能上网的)，不能与主机通信的情况。情况比较复杂啊！但是一般情况下，都是网卡配置惹的祸。 在配置网卡之前，有必要理解下网卡是干什么的？请看图 2.接下来就是具体的配置网卡了，follow me (1)你的linux网卡启动了？ vi ...
VMware 虚拟机 Windows 系统卡顿解决
pcdd's blog
07-14 1796
虚拟机系统卡顿的大部分原因是设置不当导致
VMware虚拟机卡顿（虚拟机卡死）（调整所有虚拟机内存使其适应预留的主机 RAM (F)、默认进程优先级、不允许使用内存页面修整功能(M)）
Dontla的博客
06-17 5976
是一种内存管理技术，用于优化虚拟机内存的使用效率。当启用该功能时，虚拟机监控程序（hypervisor）会定期检查虚拟机分配的内存页面，识别并回收那些没有被虚拟机利用的或是空闲的内存页面。：虽然禁用了内存页面修整，但如果虚拟化平台支持其他类型的动态内存管理技术（如 VMware 的动态内存分配），则这些技术可以在不同虚拟机之间动态调整内存分配，依然可以在一定程度上优化内存使用。尽管“不允许使用内存页面修整功能”会影响内存的灵活管理，但它主要影响的是内存的实时回收与再分配，而不是内存释放的绝对可能性。
虚拟机卡死（关闭电源，任务管理器杀进程，重启电脑均无效），强制重启解决方法
doonline的博客
01-17 1948
虚拟机运行死机（桌面点不动，SSH命令行连不上），通过（1）虚拟机的电源-->关闭客户机，提示系统忙，无法关闭；（2）任务管理器杀掉vmplayer进程，之后重启vmplayer，运行Ubuntu 22.04.2 LTS，仍然死机；（3）任务管理器杀掉vmplayer进程，删除虚拟机目录下的*.lock文件，重启电脑，之后开机运行，仍然死机，无法解决。
虚拟机卡死了怎么办
weixin_35752122的博客
01-02 7166
如果虚拟机卡死了，你可以尝试以下几个解决方案： 尝试重启虚拟机。这可能会解决问题。 在虚拟机中关闭所有正在运行的程序，然后重新启动虚拟机。 尝试在虚拟机中执行系统修复。这可能会修复操作系统中的损坏或损坏的文件。 如果以上方法都不能解决问题，你可以尝试还原虚拟机至先前的备份点。这可能会撤销任何最近对虚拟机所做的更改，但可能会解决问题。 如果仍然无法解决问题，你可以尝试重新安装虚拟机软件，或...
大数据技术之 Hadoop（入门详解）
最新发布
qq_45115959的博客
08-11 1222
各个模块分开启动/停止（配置 ssh 是前提）常用整体启动/停止 HDFS整体启动/停止 YARN各个服务组件逐一启动/停止分别启动/停止 HDFS 组件启动/停止 YARN。
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
m0_52435951的博客
04-10 3775
大数据技术——Hadoop3.X入门搭建+安装调优（1.入门）
大数据学习之路-Hadoop
weixin_43441789的博客
01-29 4099
Hadoop1. 大数据导论1.1 大数据概念1.2 大数据特点1.3 大数据应用场景1.4 大数据部门组织结构2. Hadoop简介与大数据生态2.1 Hadoop的介绍2.2 Hadoop三大发行版本2.3 Hadoop组成2.3.1HDFS架构概述2.3.2 YARN架构概述2.3.3 MapReduce架构概述2.4 大数据技术生态体系3. Hadoop运行环境搭建3.1 模板虚拟机环境准备3.2 克隆虚拟机3.3 安装JDK3.4 安装Hadoop3.5 Hadoop目录结构4. Hadoop运行
尚硅谷大数据之VM与Linux的安装
04-10
VM 与 Linux 的安装 VM 与 Linux 的安装 VM 与 Linux 的安装
Ubuntu虚拟机频繁卡死
将~军的博客
02-27 3650
Ubuntu虚拟机
主机连接不上虚拟机
weixin_57220119的博客
05-30 271
昨天使用正常，今天demo写完后，想登上rabbit MQ的管理界面看看信息，然后显示有界面，但是只给了rabbit的小图标还有底行的一句提示语，告诉我加载不到组件什么的。然后我又怀疑虚拟机和主机的网络是否断开，先用navicat连接虚拟的数据库成功，然后用主机ping虚拟机ip成功，重新怀疑docker。排查到此，网络没有问题，端口映射没有问题，防火墙没有开启，程序没有问题，那只能是出了一些莫名其妙的问题，尝试开启防火墙再关闭，主机访问虚拟机rabbit MQ，结果成功！
遇见问题-VMware虚拟机打开运行一段时间后卡死
Java_Scholar0的博客
05-26 2456
VMware虚拟机打开运行一段时间后卡死
高并发系列
会算法的架构师
12-06 160
test
解决虚拟机卡死且无法强制结束进程的问题
y2020520的博客
07-10 1万+
inux 死机有很多种情况，最常见的是系统负载过高导致的。可以是运行内存耗用极大的程序，也会迅速提升系统负载。 由于系统负载过高导致的卡死，一定是解决的越快越好！不能再试图依赖任何图形界面的东西，因为鼠标都没有用，而且使用开启终端命令也没有用。 这时候进程是强行关闭不了的,需要自己在 ...
解决虚拟机VMware一段时间不动，就卡死的问题
热门推荐
weixin_62952541的博客
04-18 2万+
因为虚拟机安装的系统一般是windows，那么建议在界面右侧的【3D图形】中进行勾选。另外，一般来说图形内存为768MB是足够的，但如果虚拟机的实际应用占用资源多了，必定会挤占图形内存，一旦出现这样的情况虚拟机的运行速度必然会变慢了。对此，如果内存充足的情况下可适当多分图形内存一点。
主机连不了虚拟机(血泪教训)
第五个世界的博客
09-12 9879
1、现象 很久本地没玩linux ，今天xshell 连接不通，排查了2、3天，记录一下。
CentOS 7搭建Hadoop-2.7.2环境：虚拟机配置与初始化
总结来说，搭建Hadoop环境涉及创建虚拟机、安装操作系统、配置网络、安装必要软件、设置时区、调整系统时间、分配静态IP、安装JDK、配置环境变量以及定制Hadoop配置。这个过程是构建高效、稳定Hadoop集群的基础。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值