Hadoop入门(十五)——集群常见错误及解决方案

最新推荐文章于 2022-05-30 13:08:31 发布
最新推荐文章于 2022-05-30 13:08:31 发布
阅读量495 收藏
点赞数
分类专栏： Hadoop学习 文章标签： hadoop hdfs big data
原文链接：https://blog.csdn.net/m0_46413065/article/details/115081385
版权
本文章为转载文章，用来学习，原文链接： https://blog.csdn.net/m0_46413065/article/details/115081385
版权

Hadoop入门(十五)——集群常见错误及解决方案

后续持续更新

系列文章传送门

这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)
Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置（图文详解步骤2021）
Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输（图文步骤详解2021）
Hadoop入门(四)——模板虚拟机环境准备（图文步骤详解2021）
Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）
Hadoop入门(六)——JDK安装（图文步骤详解2021）
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
Hadoop入门(八)——本地运行模式+完全分布模式案例详解，实现WordCount和集群分发脚本xsync快速配置环境变量 （图文详解步骤2021）
Hadoop入门(九)——SSH免密登录 配置
Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021）
Hadoop入门(十二)——配置历史服务器及日志的聚集（图文详解步骤2021）
Hadoop入门(十三)——集群常用知识(面试题)与技巧总结
Hadoop入门(十四)——集群时间同步（图文详解步骤2021）
Hadoop入门(十五)——集群常见错误及解决方案

文章目录

1）防火墙没关闭、或者没有启动 YARN

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032 

    
    

    
    
  • 1

2）主机名称配置错误

参考Hadoop入门(二)——VMware15.5虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）

3）IP 地址配置错误

参考Hadoop入门(二)——VMware15.5虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置（图文详解步骤2021）

4）ssh 没有配置好

参考Hadoop入门(九)——SSH免密登录 配置（图文详解步骤2021）

5）root 用户和 leokadia 两个用户启动集群不统一

通常用leokadia账号启动集群，最好不要在root上启动集群

6）配置文件修改不细心

参考Hadoop入门(十)——集群配置（图文详解步骤2021）

7）不识别主机名称

java.net.UnknownHostException: hadoop102: hadoop102 
        at 
java.net.InetAddress.getLocalHost(InetAddress.java:1475) 
        at 
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) 
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) 
        at  java.security.AccessController.doPrivileged(Native 
Method) 
at javax.security.auth.Subject.doAs(Subject.java:415) 

    
    

    
    
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

解决办法：
（1）主机名称映射没有配
在/etc/hosts 文件中添加 192.168.10.102 hadoop102
（2）与系统的命令发生冲突
主机名称不要起 hadoop hadoop000 等特殊名称

8）DataNode 和 NameNode 进程同时只能工作一个。

在这里插入图片描述
参考Hadoop入门(十一)——集群崩溃的处理方法（图文详解步骤2021）

9）执行命令不生效，粘贴 Word 中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴 Word 中代码。

10）jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在 Linux 的根目录下/tmp 目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

11）jps 不生效

原因：全局变量 hadoop java 没有生效。解决办法：需要 source /etc/profile 文件。

12）8088 端口连接不上

[leokadia@hadoop102 桌面]$ cat /etc/hosts
注释掉如下代码

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 
#::1         hadoop102 

    
    

    
    
  • 1
  • 2

13）

在这里插入图片描述
还记得之前我们在集群配置的时候没有配置一个东西吗
参考参考Hadoop入门(十)——集群配置（图文详解步骤2021）
在这里插入图片描述
当时说的后面会出现的问题就是这个（如果当时讲这个配置的原理不好讲，现在就明白了）
好，现在我们来配置下这个文件

<?xml version="1.0" encoding="UTF-8"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 配置 HDFS 网页登录使用的静态用户为 leokadia -->
<property>
<name>hadoop.http.staticuser.user</name>
<value>leokadia</value>
</property>
</configuration>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

[leokadia@hadoop102 hadoop]$ vim core-site.xml
在这里插入图片描述
在这里插入图片描述
搞定后别忘了分发
[leokadia@hadoop102 hadoop]$ xsync core-site.xml
在这里插入图片描述
更改配置后要把集群重新启动一下
在这里插入图片描述
之后回到那个页面就不在报错了
点删除可以正常删除
在这里插入图片描述
Hadoop入门系列完结撒花！！！
接下来进入HDFS系列！！！
希望大家继续一键三连哟！！！

</article>
芽儿好嗨哟
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群datanode磁盘不均衡的解决方案
01-29
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点，节点与节点之间磁盘大小不一样等等。当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地...
HADOOP快速入门及搭建集群环境
10-14
HADOOP快速入门及搭建集群环境 HADOOP是一种分布式计算技术，旨在处理大规模数据集，能够将大规模数据处理工作分配到多个计算机节点上，从而提高数据处理速度和效率。本资源旨在指导读者快速入门HADOOP，并搭建集群...
高可用hadoop集群搭建
dontlikerabbit的博客
03-21 420
准备工作 安装3台centos7 服务器 配置主机名字hd01\hd02\hd03 hostnamectl set-hostname hd01 查询地址 ip addr 连接xshell：填写名称:hostname 主机：ip地址 用户身份验证 可以向xshell窗口拖拽文件： yum -y install lrzsz hostname和ip地址形成映射： vi /etc/hosts 192.168.181.131 hd01 192.168.181.132 hd02 192.168.18
kettle添加hadoop cluster时报错Caused by: java.lang.IllegalArgumentException: Does not contain a valid hos...
weixin_30585437的博客
07-27 457
完整报错是： Caused by: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop:password@node56:9000 解决方案： 我在添加hadoop cluster的时候报错如上，去掉了用户名和密码就好了~~~~~~~~~，出现如下就可以使...
Hadoop集群Yarn集群各种常见错误（扩容教程附带）
m0_55990500的博客
05-30 1411
yarn集群节点转为unhealthy，内存优化，高可用集群分析，关于如何强制关闭任务，zookeeper的分析，扩容教程
启动hadoop运行jar包时可能会遇到的问题和解决办法
东方小硕
06-05 6099
启动Hadoop过程中遇到的namenode节点启动失败的问题：(logs中的namenode日志中报错txid启动错误) ——>原因： Hadoop NN中的元数据包括： fsimage:包含某个时间点的文件系统的完整状态 edit logs:包含在最近的fsimage之后进行的每个文件系统更改(文件创建/删除/修改) 当NN启动时，Hadoop将加载fsimage并应用所有编辑日志，同时...
spark Yarn模式运行报错：Connecting to ResourceManager at /0.0.0.0:8032
qq_44881930的博客
08-03 3809
1、报错信息如下 11 20:11:07,922 INFO [main] org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 2014-05-11 20:11:09,966 IN
Hadoop高级编程——构建与实现大数据解决方案.rar
10-25
本压缩包“Hadoop高级编程——构建与实现大数据解决方案”将深入探讨如何利用Hadoop进行高效的数据操作，构建实际的大数据解决方案。 一、Hadoop概述 Hadoop是由Apache基金会开发的开源项目，主要由Hadoop ...
hadoop集群配置之————flume安装配置（详细版）
07-23
hadoop集群配置之————flume安装配置（详细版）
hadoop job yarn 命令
半日闲的博客
06-13 1271
hadoop命令行 与job相关的： 命令行工具 •  1.查看 Job 信息： hadoop job -list  2.杀掉 Job：  hadoop  job –kill  job_id 3.指定路径下查看历史日志汇总： hadoop job -history output-dir  4.作业的更多细节：  hadoop job -history all output-dir
Hadoop集群的配置及常见问题总结
03-27
NULL 博文链接：https://shirley-ren.iteye.com/blog/1174622
hadoop故障排除
wangjunji34478的专栏
10-15 2221
1：解决与空间相关的问题 2：解决内存问题 3：处理不同类型的故障 4：对Spark作业执行进行故障排除 我要继续讲这本书的最后一章，简短而有趣。故障排除是一个广阔的领域，我想让您了解一下您可能在hadoop集群中遇到的一些更有趣的问题。hadoop有很多 配置属性，并且掌握这些属性对于充分利用hadoop集群的投资至关重要。 但是，通...
我遇到的hadoop错误和解决方法汇总
The Big Data Way
10-16 754
  ================================== windows cygwin环境下，遇到这个错误：org.apache.hadoop.security.AccessControlException: Permission denied: user=cyg_server, access=EXECUTE, inode="job_201010161322_0003":hei...
python通过pyhdfs(或hdfs)异常问题处理
Tramp_fish的博客
12-29 1525
requests.exceptions.ConnectionError: HTTPConnectionPool(host='16a187bf3b55', port=50075): Max retries exceeded with url: /webhdfs/v1/user/test06?op=CREATE&user.name=demo&namenoderpcaddress=namenode:8020&createflag=&createparent=true&ove
mysql启动报错笔记
Jocker_C的博客
05-30 153
mysql启动报如下错误 Starting MySQL... ERROR! The server quit without updating PID file (/opt/db/data/localhost.localdomain.pid). 按照网上教程，删除了/opt/db/data目录下的两个ib_logfile两个文件，然后重启就成功了
Hadoop集群搭建问题总结
Johnson8702的博客
08-23 1346
1、 问题描述：hadoop集群启动时，datanode进程启动不了 原因分析：namenode和datanode下VERSION文件中的clusterID不一致，导致datanode启动不了 解决方法：进入hadoop的配置目录hadoop-2.7.1/etc/hadoop，进入hdfs-site.xml配置文件，找到namenode和datanode的配置空间 <!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是core-site.xml里配置的hadoop.t
Gephi安装好 JAVA变量也装好，但出现 can't find java1.8 or higer错误
热门推荐
fuy1990的博客
08-28 1万+
解决方法： 找到gephi根目录，找到etc/gephi.conf（用写字板打开，因为记事本不能换行） 找到#jdkhome="/path/Java/"#（大概是倒数几行的位置），删掉#，然后更改为你jre/jdk的安装路径 比如  jdkhome="C:/Program Files(x86)/Java/jre7"（这个“”里面的路径是你的安装jdk路径，注意安装jdk时...
hadoop集群运行异常故障描述
分布式应用与服务器架构专栏
10-22 2238
今天上午在正常操作hadoop的时候，突然发现所有的节点都连不上，然后在hadoop的简单管理页面上所有节点都是Dead Nodes。 检查各节点日志发现：namenode和jobtracker都连不上了，各节点报错信息如下： java.net.ConnectException: Call to master/XXX.XXX.XXX.XXX:XXXX failed on connection
hadoop学习中的常见问题及解决办法
Soquel的博客
06-21 3634
1.hadoop：找不到命令 原因：没有配置环境变量 解决办法： 在Linux环境内下输入export PATH=$PATH:/usr/local/hadoop/bin，检查hadoop命令是否可用 输入hadoop version 使hadoop命令永久生效方法： 如果第二次开机后，仍旧提示“hadoop：未找到命令”，那就是上次修改的$PATH 路径没有保存。 解决这个问题，就是直接将其添加到配置文件，有的配置文件在/etc/profile,有的在.bashrc文件里，我的是在.bashrc 中，下面
《Hadoop大数据期末考试重点解析及常见错误》
在判断题中，有一些常见的错误答案需要特别注意。例如，有关JobTracker和TaskTracker的分配任务的描述，需要明确TaskTracker只负责执行JobTracker分配的计算任务。此外，还有关于配置文件的相关内容，需要明确hadoop...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值