hadoop中启动recourcemanager出问题日志查看修改后相同报错

最新推荐文章于 2024-04-28 21:45:00 发布
最新推荐文章于 2024-04-28 21:45:00 发布
阅读量250 收藏
点赞数
文章标签： hadoop java bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wqzdgg/article/details/105499479
版权

hadoop中的recourcemanager报错

启动hadoop中start-all.sh后进行jps操作
jps结果
仅仅出现这几个，而recourcemanager却没能正常启动。查看recourcemanager日志，发现报错：
日志
关键点在于

Caused by: java.lang.NoClassDefFoundError: javax/activation/DataSource
Caused by: java.lang.ClassNotFoundException: javax.activation.DataSource

经过网络查找，提供方法为在yarn-env.sh中添加

export YARN_RESOURCEMANAGER_OPTS="--add-modules=ALL-SYSTEM"
export YARN_NODEMANAGER_OPTS="--add-modules=ALL-SYSTEM"

而后重启hadoop，依旧没有成功，而报错仍然相同。
求问各位大神，问题该如何解决。
谢谢啦 感激不尽

bit随便一点啦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
HADOOP 日志聚集和ResourceManager日志
qq_20146211的博客
08-21 3336
Application在yarn上跑时  会分成ResourceMangager日志和 NodeManger(Container)日志 在yarn上跑，在启动yarn或者hadoop后不要删除日志文件，否则日志无法写入日志文件 在没有设置日志聚集的时候 ResourceManger日志在Master机子上，文件为yarn-{User}-resourcemanager-Master.log 在sl...
关于启动/配置hadoop时出现的问题
01-07
1.在启动 hadoop 时提示 “Could not resolve hostname” 首先应该立即停止启动（ctrl+c），之后打开~./bashrc，在这里面添加如下代码： export HADOOP_HOME=/usr/local/hadoop export HADOOP_COMMON_LIB_NATIVE_...
[Hadoop完全分布式集群部署]
程序车轮
05-12 1万+
Hadoop完全分布式集群部署1 集群规划      以四台机器为例，linux用的是CentOS 6.5 x64的机器对集群部署进行规划，所有机器的用户名及密码均为hadoop。主机名 安装软件 JPS hdfs yarn HistoryServer cdh.hadoo.com Jdk/hadoop NameNode RecourceManager JobHistoryServe...
HDFS第一天
myloveprogrmming的博客
11-19 205
hadoop是什么 hadoop是apache旗下一套开源的软件平台 hadoop是一套高可靠的、可扩展的、分布式的计算开源软件 hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群分布式处理大型的数据 hadoop提供的功能：利用服务器集群，    根据用户自定义的业务逻辑对海量数据进行 hadoop的核心模块（四大核心1,2,3,4）三大框架（2,3,4）： 1hadoop co...
CDH平台YARN日志查看和问题排查
weixin_43497829的博客
02-20 6527
1.查看YARN中作业的web端口 方式一： 通过ResourceManagerWeb UI 查看日志：( 这种方式可以查看当前正在执行以及历史所有任务） 1.1 先找到 YARN ResourceManager 角色所在服务器的IP地址，可通过如下图方式进行查看。 CM操作路径：集群-YARN-实例-ResourceManage角色-主机。 1.2 然后查找端口， 通过查找yarn-site配置项 yarn.resourcemanger.webapp.address 的值，默认是8088.
关于hadoop3搭建的一些问题的解决
追溯千年的博客
04-24 1179
hadoop3完全分布式搭建可参照：https://blog.csdn.net/qq_33931272/article/details/79884656一些问题：1、ssh条件：1）注意关闭防火墙；2）注意.ssh文件的权限；3）注意.ssh文件是在hadoop下生成的，而不是root下4）静态的IP地址2、关于hadoop3的配置1、如果jdk用的是9以上需要在配置的配置 yarn-env.sh...
笨鸟的平凡之路-ResourceManager中log日志不显示
笨鸟的平凡之路
07-10 769
错误: Stack trace: ExitCodeException exitCode=1: at org.apache.hadoop.util.Shell.runCommand(Shell.java:601) at org.apache.hadoop.util.Shell.run(Shell.java:504) at org.apache.hadoop.util.Shell$ShellC...
Hadoop日志存放路径详解
Mrknowledge
04-09 5274
Hadoop的日志有很多种，很多初学者往往遇到错而不知道怎么办，其实这时候就应该去看看日志里面的输出，这样往往可以定位到错误。Hadoop的日志大致可以分为两类：（1）、Hadoop系统服务输出的日志；（2）、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的，其中有些地方在Hadoop 1.x中是没有的，请周知。 　　 一、H
基于Hadoop网站流量日志数据分析系统.zip
06-24
基于Hadoop网站流量日志数据分析系统 1、典型的离线流数据分析系统 2、技术分析 - Hadoop - nginx - flume - hive - mysql - springboot + mybatisplus+vcharts nginx + lua 日志文件埋点的 基于Hadoop网站流量...
大数据之hadoop启动失败问题集锦.md
03-04
启动hadoop时遇到的一些问题集锦: 专门从网上找的,虽然现在还没有遇到,说不定以后会遇到,这样也能快速知道如何解决;
解决hadoop本地运行报错
10-11
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包，本地运行MR必备的源码包，本地运行MR必备的源码包，
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
Hadoop3 yarn无法启动 （resourceManager/nodeManager）
a8131357leo的博客
07-30 9104
local：8970 可以正常运行， 但是当启动 ./sbin/start-yarn.sh jps jps上找不到 resourceManager 和 nodeManger的进程， 查询日志发现以下错误信息   resourceManager报错 Error starting ResourceManager org.apache.hadoop.yarn.webapp.WebAppExc...
hadoop-ResourceManager-HA配置
kxj19980524的博客
04-20 1667
ResourceManager的HA它跟namenode的HA不通,没有namenode那么麻烦,它直接把ResourceManager的状态信息注册到zookeeper里面,如果直接访问standby的节点的时候,它会自动跳转到active的那台节点,当active节点宕机时, standby节点会自动变伪active 详细配置 <?xml version="1.0"?> ...
hadoop常见错误及处理方法
热门推荐
yonghutwo的专栏
06-30 5万+
如果大家在安装的时候遇到问题，或者按步骤安装完后却不能运行Hadoop，那么建议仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。 无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。 1、hadoop-root-datanode-master.log 中有如下错误：
记录分布式部署YARN的resourceManager启动不成功的坑
weixin_34100227的博客
02-06 680
2019独角兽企业重金招聘Python工程师标准>>> ...
启动hadoop出现java.lang.ClassNotFoundException: javax.net.SocketFactory
cluzax的专栏
12-18 1171
jre/lib/ 下的jsse 的后缀名是 jar 还是 pack ，如果是pack 就 unpack200 jsse.pack jsse.jar
HTTP方式在线访问Hadoop HDFS上的文件解决方案
最新发布
Alex的博客
04-28 901
为了通过HTTP方式在线访问HDFS上的文件，您可以利用WebHDFS REST API或者HttpFS Gateway这两种机制实现。 1：httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口，通过WebHDFS REST API 可以对hdfs进行读写等访问2：与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点，通过httpfs可以访问放置在防火墙后面的hadoop集群3：httpfs是一个Web应用,部署在内嵌的tomcat中。
启动Flume传输Hadoop日志（namenode或datanode日志），查看HDFS中/tmp/flume目录下生成的内容，
03-21
你可以按照以下步骤启动Flume传输Hadoop日志并查看HDFS中生成的内容： 1. 首先，确保你已经安装了Flume和Hadoop，并且配置正确。 2. 在Flume的配置文件中，配置一个source和一个sink，用于将Hadoop日志传输到HDFS中的/tmp/flume目录下。例如： ``` agent.sources = logsource agent.sources.logsource.type = exec agent.sources.logsource.command = tail -F /path/to/hadoop/logs/* agent.sinks = hdfs_sink agent.sinks.hdfs_sink.type = hdfs agent.sinks.hdfs_sink.hdfs.path = hdfs://localhost:9000/tmp/flume agent.sinks.hdfs_sink.hdfs.fileType = DataStream agent.sinks.hdfs_sink.hdfs.writeFormat = Text ``` 3. 启动Flume agent，命令如下： ``` $ bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties ``` 4. 等待一段时间后，查看HDFS中/tmp/flume目录下生成的内容，命令如下： ``` $ hadoop fs -ls /tmp/flume ``` 5. 如果一切正常，你应该能够看到Hadoop日志已经成功传输到了HDFS中的/tmp/flume目录下。 注意：以上步骤仅供参考，具体操作可能因环境和配置不同而有所差异。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值