hadoop之JobHistoryServer无法启动的解决方案

已于 2022-10-28 08:55:40 修改
阅读量4.5k 收藏 14
点赞数 4
文章标签： hadoop 大数据 java
于 2022-10-28 08:55:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_59002046/article/details/127564566
版权

最重要的一点就是大家一定要学会看日志，因为我们得报错信息就在日志里面，就算你的问题和我的不一样但是你看日志就一定能看出问题得所在，强调一句用hadoop得话jdk环境最好配8或者11，一定不要用18，问题太多会报空指针异常

这里我们首先打开我们的目录 /opt/module/hadoop-3.1.3/logs ，logs前面的目录看自己安装路径即可，用xftp打开然后查看时间最近的一个日志文件，拉到最下面因为一般的错误信息都在最下面，或者在中间都有可能，你找到之后看它的问题，这是我当时启动的问题：

2022-10-28 08:01:21,072 INFO org.apache.hadoop.service.AbstractService: Service HistoryClientService failed in state STOPPED
org.apache.hadoop.yarn.webapp.WebAppException: java.lang.NullPointerException: guiceFilter
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:102)
	at org.apache.hadoop.mapreduce.v2.hs.HistoryClientService.serviceStop(HistoryClientService.java:179)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.CompositeService.stop(CompositeService.java:158)
	at org.apache.hadoop.service.CompositeService.serviceStop(CompositeService.java:132)
	at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceStop(JobHistoryServer.java:206)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:67)
	at org.apache.hadoop.service.CompositeService$CompositeServiceShutdownHook.run(CompositeService.java:184)
	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)
	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
	at java.base/java.lang.Thread.run(Thread.java:833)
Caused by: java.lang.NullPointerException: guiceFilter
	at com.google.common.base.Preconditions.checkNotNull(Preconditions.java:895)
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:99)
	... 17 more
2022-10-28 08:01:21,073 WARN org.apache.hadoop.service.CompositeService: When stopping the service HistoryClientService
org.apache.hadoop.yarn.webapp.WebAppException: java.lang.NullPointerException: guiceFilter
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:102)
	at org.apache.hadoop.mapreduce.v2.hs.HistoryClientService.serviceStop(HistoryClientService.java:179)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.CompositeService.stop(CompositeService.java:158)
	at org.apache.hadoop.service.CompositeService.serviceStop(CompositeService.java:132)
	at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceStop(JobHistoryServer.java:206)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:67)
	at org.apache.hadoop.service.CompositeService$CompositeServiceShutdownHook.run(CompositeService.java:184)
	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)
	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
	at java.base/java.lang.Thread.run(Thread.java:833)
Caused by: java.lang.NullPointerException: guiceFilter
	at com.google.common.base.Preconditions.checkNotNull(Preconditions.java:895)
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:99)
	... 17 more
2022-10-28 08:01:21,073 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Stopping JobHistory
2022-10-28 08:01:21,073 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory: Stopping History Cleaner/Move To Done
2022-10-28 08:01:21,074 ERROR org.apache.hadoop.security.token.delegation.AbstractDelegationTokenSecretManager: ExpiredTokenRemover received java.lang.InterruptedException: sleep interrupted
2022-10-28 08:01:21,076 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer failed in state STOPPED
org.apache.hadoop.yarn.webapp.WebAppException: java.lang.NullPointerException: guiceFilter
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:102)
	at org.apache.hadoop.mapreduce.v2.hs.HistoryClientService.serviceStop(HistoryClientService.java:179)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.CompositeService.stop(CompositeService.java:158)
	at org.apache.hadoop.service.CompositeService.serviceStop(CompositeService.java:132)
	at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceStop(JobHistoryServer.java:206)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:67)
	at org.apache.hadoop.service.CompositeService$CompositeServiceShutdownHook.run(CompositeService.java:184)
	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)
	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
	at java.base/java.lang.Thread.run(Thread.java:833)
Caused by: java.lang.NullPointerException: guiceFilter
	at com.google.common.base.Preconditions.checkNotNull(Preconditions.java:895)
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:99)
	... 17 more
2022-10-28 08:01:21,077 WARN org.apache.hadoop.service.AbstractService: When stopping the service org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer
org.apache.hadoop.yarn.webapp.WebAppException: java.lang.NullPointerException: guiceFilter
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:102)
	at org.apache.hadoop.mapreduce.v2.hs.HistoryClientService.serviceStop(HistoryClientService.java:179)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.CompositeService.stop(CompositeService.java:158)
	at org.apache.hadoop.service.CompositeService.serviceStop(CompositeService.java:132)
	at org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceStop(JobHistoryServer.java:206)
	at org.apache.hadoop.service.AbstractService.stop(AbstractService.java:220)
	at org.apache.hadoop.service.ServiceOperations.stop(ServiceOperations.java:54)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:102)
	at org.apache.hadoop.service.ServiceOperations.stopQuietly(ServiceOperations.java:67)
	at org.apache.hadoop.service.CompositeService$CompositeServiceShutdownHook.run(CompositeService.java:184)
	at java.base/java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539)
	at java.base/java.util.concurrent.FutureTask.run(FutureTask.java:264)
	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
	at java.base/java.lang.Thread.run(Thread.java:833)
Caused by: java.lang.NullPointerException: guiceFilter
	at com.google.common.base.Preconditions.checkNotNull(Preconditions.java:895)
	at org.apache.hadoop.yarn.webapp.WebApp.stop(WebApp.java:99)
	... 17 more
2022-10-28 08:01:21,081 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer: SHUTDOWN_MSG:

 看完这些问题后，我继续网上翻阅出现了下面这段话，显示我的jdk版本是18的，版本冲突了，导致service编译通过（因为有jdk），然后运行失败（版本不兼容），但在次之前我是已经将java的jdk版本改到了8但是我的机子里面确实还装了一个jdk18版本，并且两个都是全局生效export

 

 然后解决办法就是将jdk版本改回来即可

第一步：检查我们的java安装路径，然后我这里显示的是8版本的

[root@hadoop102 ~]# which java
/opt/module/jdk1.8.0_212/bin/java

第二步：检查我们的全局jdk路径，然后发现是18版本的

[root@hadoop102 ~]# echo $JAVA_HOME
/usr/local/java/jdk-18.0.2.1

第三步：确认好了之后我们编辑我们的全局声明 etc/profile

[root@hadoop102 ~]# vim /etc/profile

第四步：将里面的export后面的JAVA_HOME后面的路径改为我们的8即可，wq保存退出

第五步：我们用xsync将profile布置到其他两台hadoop上面，并且用source让命令生效（三台hadoop都要生效即可）

[root@hadoop102 ~]# xsync /etc/profile
[root@hadoop102 ~]# source /etc/profile

第六步：然后我们输入mapred --daemon start historyserver启动server

[root@hadoop102 ~]# mapred --daemon start historyserver

 第七步：看到这个说明我们启动成功了，完美结束

 

新城已无旧少年_
关注
  • 4
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
为Hadoop实现构建企业级安全解决方案
02-26
当构建企业级安全解决方案(它可能会围绕着与Hadoop数据集交互的许多应用程序和企业级服务)时，保证Hadoop自身的安全仅仅是安全解决方案的一个方面。各种组织努力对数据采用一致的安全机制，而数据是从采用了不同安全...
Hadoop如何开启JobHistoryServer
okakio的博客
11-05 4192
进入Hadoop的sbin目录下，输入 : ./mr-jobhistory-daemon.sh start historyserver 再次输入JPS查看是否打开
hadoop之jobhistory
chbxw
11-20 2797
mapred-site.xml,jobhistory,hadoop
hadoop的 jobhistoryserver无法启动,不用改jdk版本
最新发布
qq_73933491的博客
04-16 237
学习配置hadoop，按网上教程配置完后，然后jobhistoryserver一直没有，用jps查看没有，原理和nodemanager和resourcemanager一样，解决方法也以一样，直接再在。
Hadoop配置历史服务器、日志聚集、常用端口号(2.x/3.x)
weixin_44976835的博客
03-26 566
历史服务器 为了查看程序的历史运行情况，需要配置一下历史服务器。 首先在NameNode配置mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> ? <value>hadoop102:10020</value> ? </property> <property> <name>mapreduce.jobhistory.we
Hadoop 配置历史服务器及日志的聚集 （六）
小道士写程序
04-10 846
配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器。
Hadoop集群搭建
m0_61545566的博客
07-21 808
3.命令hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jarwordcountwcinputwcoutput。share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jarjar包的路径。1.将hadoop的安装包上传到linux的/opt/software上（xftp）第二种直接断开再重新连接（重新加载环境变量--建议使用此方式）......
打怪升级之小白的大数据之旅(四十三)＜Hadoop运行模式(集群搭建)＞
不断努力的数据汪
05-13 390
打怪升级之小白的大数据之旅(四十三) Hadoop运行模式(集群搭建) 上次回顾 上一章对单个Hadoop服务器环境搭建进行分享，本章对Hadoop集群的搭建以及运行进行分享，集群是Hadoop的核心，所以本章节很重要!很重要!很重要!OK，让我们开始 Hadoop的运行模式&集群的概述 Hadoop运行模式概述 Hadoop的运行模式分为本地模式、伪分布式模式和完全分布式模式三种，伪分布式没什么意思，我们也几乎用不到，我就不介绍了，我们的核心是完全分布模式，它就是我们Hadoop的集群 集群的
黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令
weixin_45735391的博客
07-30 3751
MapReduce配置和YARN部署以及基本命令
Hadoop初学习笔记
Lynnand的博客
12-28 1100
hadoop 大型框架 定义: 开源的分布式系统基础架构 分布式: 多台服务器共同完成某一项任务 用途: 海量数据的存储，分析计算 特性: 高效性(可并行工作)， 高扩展性(可动态增加/删除节点) 高可靠性(底层维护多个数据副本) 高容错性(自动将失败的任务重新分配) HDFS架构概述Hadoop Distributed File System 分布式文件系统 用于存储文件，通过目录树来定位文件 使用场景：适合一次写入，多次读出，一个文件经过创建，写入和关闭后不需要再改变 NameNode(简称.
Hadoop2.0上深度学习的解决方案
02-26
本文探讨了如何在一个Hadoop集群中实现和部署深度学习。波士顿的 数据科学团队正在利用尖端工具和算法来优化商业活动，且这些商业活动是基于对用户数据中的深刻透析。数据科学大量使用机器算法，可以帮助我们在数据...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
当hdfs出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的...
RM源码org.apache.hadoop.service.CompositeService分析
weixin_30294295的博客
08-20 174
上一篇blog分析了org.apache.hadoop.service.AbstractService主要功能是状态改变，org.apache.hadoop.service.CompositeService主要功能是进行服务的启停。 代码也比较简洁 private final List<Service> serviceList = new ArrayList<Servi...
Hadoop：配置任务执行的历史服务器
程序员无羡的博客
07-11 268
Hadoop：配置任务执行的历史服务器
Hadoop中常见组件的常用命令：Hadoop、Flume、Hive、Zookeeper、Hbase、Spark、Kafka、Redis、Flink
weixin_40612128的博客
03-18 1237
一、Hadoop 启动 start-all.sh 停止 stop-all.sh 查看进程 jps jps -m ps -ef |grep 进程名称 1、hdfs 2、MapReduce 3、Yarn 二、Flume 1、启动flume任务方式1： flume-ng agent --name a1 --conf conf --conf-file conf/example.conf -Dflume.root.logger=INFO,console 2、启动命令1解释： 后面指定agent，表示启动一个
大数据Hadoop运行模式和常见错误
赵广陆
03-25 1208
目录1 Hadoop 运行模式2 本地运行模式3 完全分布式运行模式（开发重点）3.1 编写集群分发脚本 xsync3.1.1 scp（secure copy）安全拷贝3.1.2 rsync 远程同步工具3.1.3 xsync 集群分发`脚本`4 集群配置4.1 配置历史服务器4.2 配置日志的聚集4.3 集群启动/停止方式总结4.4 常用端口号说明4.5 集群时间同步5 常见错误及解决方案 1 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）H
CDH 之 YARN JobHistory Server 运行异常
予挚之的博客
05-24 514
可以看出，因为 mapred 这个用户没有 /user 目录的相关权限导致，登录 mapred 用户或者 hdfs 用户（如果无法切换 hdfs 用户，请修改 /etc/passwd 文件，将 hdfs 列的 /sbin/nologin 改为 /bin/bash）最后重启 YARN 的 JobHistory Server 服务。将 /user/history 授权给 mapred 用户。
Hadoop无法启动JobHistoryServer异常
搬砖的鱼的博客
05-03 3885
Error starting JobHistoryServer org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error creating done directory: [hdfs://node001:8020/user/history/done] org.apache.hadoop.mapreduce.v2.hs.JobHist...
hadoop:配置历史服务器JobHistory和日志聚集
qq_59403228的博客
05-12 836
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。（2）分发配置：给其他虚拟机配置，使用我们自己写的基于rsync的shell插件。也就是我们之前配置的hadoop103:8088端口是无法查看历史信息的。为了查看程序的历史运行情况，需要配置一下历史服务器。配置好后通过我们写的插件jpsall即可查看历史服务器是否启动。======启动 hadoop集群 =======注意：开启日志聚集功能，需要重新启动。
Hadoop jobhistoryserver是同步启动的吗
04-06
Hadoop jobhistoryserver并不是同步启动的。它是作为一个独立的服务启动的，需要手动启动。它的作用是收集和展示Hadoop MapReduce作业的历史信息，包括作业的启动时间、运行时间、输入输出路径、任务状态等。可以通过访问Job History Server的Web UI来查看这些信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

新城已无旧少年_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值