hadoop的 jobhistoryserver无法启动,不用改jdk版本

最新推荐文章于 2024-07-30 09:42:24 发布
最新推荐文章于 2024-07-30 09:42:24 发布
阅读量286 收藏 1
点赞数 10
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_73933491/article/details/137832694
版权
文章讲述了用户在按照网上的教程配置Hadoop时遇到JobHistoryServer未启动的问题，原因在于`java.lang.reflect.InaccessibleObjectException`，解决方案是在`mapred-env.sh`中添加`--add-opens`指令并重启服务。
摘要由CSDN通过智能技术生成

学习配置hadoop，按网上教程配置完后，然后jobhistoryserver一直没有，用jps查看没有，原理和nodemanager和resourcemanager一样，

Caused by: java.lang.reflect.InaccessibleObjectException: Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass(java.lang.String,byte[],int,int,java.security.ProtectionDomain) throws java.lang.ClassFormatError accessible: module java.base does not "opens java.lang" to unnamed module @5f565482

解决方法也以一样，直接再在mapred-env.sh中加入

export MAPRED_HISTORYSERVER_OPTS="--add-opens java.base/java.lang=ALL-UNNAMED"

然后重新启动就ok

＿224
关注
  • 10
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop启动jobhistoryserver
我与大象的故事
08-21 4402
hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过： mr-jobhistory-daemon.sh start historyserver 命令还启动。 　　由于前面有过一篇通过web查看job的运行情况的文章（文章的出处：http://www
JobHistoryServer无法正常启动
JacksonKing的专栏
10-28 4266
今天在测试环境启动JobHistoryServer，发现无法正常启动，报错信息如下: 2019-10-28 17:44:33,030 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer: registered UNIX signal handlers for [TERM, HUP, INT] 2019-10-28 17:44:33,6...
解决Hadoop无法启动JobHistoryServer
大佛拈花的博客
03-01 1万+
gosaint@gosaint:/usr/local/hadoop$ sbin/mr-jobhistory-daemon.sh start ==== 出现如下问题: WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replace...
在CDH中重启YARN组件时，JobHistoryServer服务启动失败
zcs2312852665的博客
06-17 463
在CDH中重启YARN组件的JobHistoryServerJobHistoryServer服务时，遇到如下错误。
yarn的jobhistoryserver启动报错解决
最新发布
m0_70227179的博客
07-30 197
在搭建yarn集群的时候，顺利的启动了JobHistoryServer历史服务器，然后在关闭虚拟机，重新启动集群的时候报错：WARNING: HADOOP_MAPRED_ROOT_LOGGER has been replaced by HADOOP_ROOT_LOGGER. Using value of HADOOP_MAPRED_ROOT_LOGGER.historyserver is running as process 12098. Stop it first and ensure /tmp/hado
hadoop之JobHistoryServer无法启动的解决方案
scfvlog的博客
10-28 4711
看完这些问题后，我继续网上翻阅出现了下面这段话，显示我的jdk版本是18的，版本冲突了，导致service编译通过（因为有jdk），然后运行失败（版本不兼容），但在次之前我是已经将java的jdk版本改到了8但是我的机子里面确实还装了一个jdk18版本，并且两个都是全局生效export。第一步：检查我们的java安装路径，然后我这里显示的是8版本的。第二步：检查我们的全局jdk路径，然后发现是18版本的。然后解决办法就是将jdk版本改回来即可。
对于yarn集群没有jobhistoryserver进程及yarn web网页没有任务信息
qq_65864042的博客
03-13 333
2.多次jps都有这个进程了，在虚拟机提交mapreduce任务 但网页没有任务信息，后面发现这是我mapred-site.xml文件出错了，在mapreduce.framework.name这一项中我的是vim.mapreduce.framework.name去掉vim.即可。3.提交mapreduce任务网页中有任务信息了，但显示失败，虚拟机中也报错root is not a leaf queve。按原来文件格式就好，我这排版错误，然后重启Hadoop，提交任务，问题解决。
解决Hadoop无法启动JobHistoryServer 用start-yarn.sh来运行，出现了什么替换了什么值，我看其他也是人打开也是这样，应该不是什么错，但就是无法运行，用jps查看始终没有，...
weixin_42576410的博客
12-23 655
在使用 start-yarn.sh 命令启动 Hadoop 的 JobHistoryServer 时，出现了若干警告消息，其中包括： WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR. WARNING: YARN_LOG_DIR has been replaced b...
hadoop2.x配置jobHistory server（转）
zhangxiong0301的专栏
03-16 405
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 $ sbin/mr-jobhistory-daemon.sh   start historyserv...
hadoop2.6.0版本-hadoop-2.6.0.tar.gz
10-28
例如，在`hdfs-site.xml`中设置NameNode的地址，`mapred-site.xml`中配置JobHistoryServer等。 Hadoop 2.6.0引入了YARN（Yet Another Resource Negotiator），它作为资源管理器，负责集群资源的分配和调度，将原本...
Linux中安装Hadoop全分布部署
03-19
这些文件定义了Hadoop的运行参数，如HDFS的副本数量、NameNode和DataNode的地址、JobHistoryServer的地址等。根据实际需求进行修改，并保存配置。 8. **Hadoop初始化与启动**： 初始化Hadoop集群通常包括格式化...
单机搭建 Hadoop3 环境为CentOS7/JDK1.8
AceCream的博客
09-21 257
在一切开始之前给用户建议设置一下权限，减少后面权限引发的问题 visudo 找到 root ALL=(ALL) ALL 在这一行下添加一条 比如 ： hadoop ALL=(ALL)ALL 保存之后，注销一下用户，再登录回来。 1.虚拟机CentOS设置静态ip 主要有三点： 1.设置成NAT模式 通过 虚拟网络编辑器→ NAT模式→ NAT设置，看一下网关号，比如192.168.21....
大数据全家桶安装及启动JDK，mysql，canal，Zookeeper，Hadoop，Hive，Hbase，Datax，kylin，kafka，spark，flink，redis，zeppelin等
data_curd的博客
05-18 969
​ 准备虚拟机 用户名:root 密码:123456 IP: 192.168.100.100 主机名: node01 修改虚拟机IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:61:02:EC TYPE=Ethernet UUID=78ce60bd-12ff-4f76-9783-c1ddba997090 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static
【大数据】Hadoop （一） 入门
weixin_46703850的博客
02-18 1787
(1）Hadoop是一个由Apache基金会所开发的**分布式系统基础架构。** (2）主要解决，**海量数据**的**存储**和海量数据的**分析计算问题**。 (3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
Hadoop中的jobhistory配置与启动停止
热门推荐
段渣渣推轮子的飙车场
03-25 1万+
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79689882 Hadoop中的jobhistory配置与启动停止 jobhistory配置 在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> ...
CDH 之 YARN JobHistory Server 运行异常
予挚之的博客
05-24 560
可以看出，因为 mapred 这个用户没有 /user 目录的相关权限导致，登录 mapred 用户或者 hdfs 用户（如果无法切换 hdfs 用户，请修改 /etc/passwd 文件，将 hdfs 列的 /sbin/nologin 改为 /bin/bash）最后重启 YARN 的 JobHistory Server 服务。将 /user/history 授权给 mapred 用户。
分布式系统中JobHistoryServer服务和Timeline Server服务的配置和简要了解概述（不详细阐述，小服务模块）
Dontwannaexplian的博客
01-17 615
简要概述了JobHistoryServer和TimelineServer服务的功能和配置以及区别
Spark JobHistoryServer配置
背离赤道、逆光而行
05-06 1004
在spark配置文件目录下：/usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7/conf 1）修改 spark-default.conf.template 名称 mv spark-defaults.conf.template spark-defaults.conf 2）修改 spark-default.conf 文件，开启 Log： vim spark...
Hadoop jobhistoryserver是同步启动的吗
04-06
Hadoop jobhistoryserver并不是同步启动的。它是作为一个独立的服务启动的，需要手动启动。它的作用是收集和展示Hadoop MapReduce作业的历史信息，包括作业的启动时间、运行时间、输入输出路径、任务状态等。可以...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值