使用linux虚拟机以及hadoop遇到的问题

無移升：）

已于 2022-10-09 11:45:26 修改

阅读量1.3k

点赞数

文章标签： linux hadoop

于 2021-06-19 09:47:41 首次发布

本文链接：https://blog.csdn.net/Xkarsa/article/details/117354776

版权

1.问题：vmware卸载
刚开始装虚拟机,结果版本错误要重装,结果VMware不允许下载前一版本的vm，卸载了也没用，然后使用工具cclean清理了VMware的注册表信息;最后的结论就是VMware没有卸载干净;

看了网上的很多方法，总结了一下，要把 VMware的安装目录删掉的话，要进行一下操作，否则删不干净
一、把VMware的服务停掉
右击“我的电脑”，选择“管理”，选择“服务和应用程序”，选择“服务”，停掉这些服务
在这里插入图片描述
二、把注册表的vm目录给删了
windows+R，输入regedit
依次点开这些目录，主要找software目录和system目录下的vm开头的文件夹（打开看一下有没有VMware文件，不要删错），然后删掉这个vm开头的文件

三、打开“任务管理器”，找到并停掉VMware进程

在这里插入图片描述
四、在程序和功能处删掉work station

然后正常删除就解决了这个问题。

2.问题：：vmware卸载不完全
上课安装集群卡在安装网络适配器这一步,于是就将安装强制退出了,发现VMware还是安装’好’了的,结果在VMware上将NAT上的网络配了一下，最后发现图中的VMnet1和VMnet8都是没有的;最后只能再次将VMware卸载重装,然后使用工具cclean清理了VMware的注册表信息;最后的结论就是VMware没有卸载干净;
在这里插入图片描述
用ccleaner可以快捷完整的清理软件及其注册表信息。

3.问题：su 鉴定故障
su | su root命令输入密码后出现鉴定故障错误
这是因为在安装linux系统时没有给root用户设置密码，重新设置密码即可

4.问题：.web端无法查看HDFS文件系统（导致这个问题的原因有许多，需要自己找原因所在）我的是因为没关闭linux系统的防火墙

ubuntuwu无法关闭防火墙的解决在这里插入图片描述
2.问题：vm 无法正常与windows之间传输文件

5.问题：由于初期要求自己安装虚拟机，安装Vmware出了一些问题，重新安装后，网络配置出现以下问题。

第一步，确定本地的有线和无限网卡支持VM桥接
在这里插入图片描述
第二步,设备管理器中的驱动设备正常加载，但是注意这两个虚拟网卡是有问题的
第三步，将虚拟机里的网络设置删除
第四步，清空网卡后点击恢复默认设置
但是依旧没有用，经过网络相关问题的检索，猜测失败是因为注册表没有删除干净，所以需要软件将无用注册表清楚。尝试使用过腾讯管家，但还是无用，最后通过CCleaner解决，清干净注册表，重复以上操作，就成功出现了所需网卡。

6.问题：无法实施、到其他端口
由于我虚拟机一开始只弄了一个salve1，slave2是之后克隆slave1后补上的，在一系列修改后，在slave2使用ssh连接到其他节点时，出现了以下问题。
在这里插入图片描述

查询了很久，修改/etc/ssh/ssh_config文件的配置的方法没用，
在这里插入图片描述

上面这个也不太行，最终重新按教程传了一遍公钥才正常运行。
教程地址：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

7.问题：start-dfs.sh启动后，hadoop集群中slave1的dataNode节点没有启动
经过问题的查找查找，原因如下，在这里插入图片描述

但网上教程的方法并没有用，一个一个都试了。
基本上，能在日志中看到异常信息，以下三种情况：
1、配置文件
2、ssh免密登陆没有配置好
3、datanode的身份标识跟namenode的集群身份标识不一致（删掉datanode的工作目录）原因：hdfs强制性多次初始化数据，会导致VERSION里面的nameid，clusterID，blockpoolID变化，导致master跟slave服务器的ID无法匹配，无法正常启动DataNone。

解决方法：
1修改datanode里VERSION文件的clusterID 与namenode里的一致，再重新启动集群后再执行jps命令。
2.将教程上面的操作重新进行了一遍，才解决了此问题。
教程地址：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

8.问题：1、hadoop启动不正常
用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：
a、在服务器的终端命令行使用jps查看相关进程
（namenode1个节点 datanode3个节点 secondary namenode1个节点）
b、如果已经知道了启动失败的服务进程，进入到相关进程的日志目录下，查看日志，分析异常的原因
1）配置文件出错，saxparser exception； ——找到错误提示中所指出的配置文件检查修改即可
2）unknown host——主机名不认识，配置/etc/hosts文件即可，或者是配置文件中所用主机名跟实际不一致
（注：在配置文件中，统一使用主机名，而不要用ip地址）
3）directory 访问异常—— 检查namenode的工作目录，看权限是否正常