hadoop historyserver启动，无法访问，查看报错等问题

最新推荐文章于 2024-04-27 16:09:31 发布
最新推荐文章于 2024-04-27 16:09:31 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： java 文章标签： hadoop hdfs 大数据 开发语言 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67391518/article/details/126664331
版权

hadoop historyserver启动，无法访问，查看报错等问题

记录下hadoop遇到的问题

1、historyserver无法启动

mapred-site.xml 文件里配置的server111节点，所以只能在server111节点启动，其他节点均不能启动

2、historyserver已启动，可以看到进程，web无法访问url

mapred-site.xml 文件配置的hostname，【server111】，本地windows无法识别【server111】，所以需要配置
C:WindowsSystem32driversetchosts

3、historyserver已启动，可以访问日志，提示可能未完成日志聚集

/tmp/logs 目录权限问题，root:root
修改权限为777 即可
[root@server110 hadoop-3.2.1]# hdfs dfs -chmod 777 /tmp

m0_67391518
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop.dll 文件，解决报错所需文件
04-11
报错：java.lang.Exception: java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 所需文件
关于启动/配置hadoop时出现的问题
01-07
1.在启动 hadoop 时提示 “Could not resolve hostname” 首先应该立即停止启动（ctrl+c），之后打开~./bashrc，在这里面添加如下代码： export HADOOP_HOME=/usr/local/hadoop export HADOOP_COMMON_LIB_NATIVE_...
hadoop拒绝通过19888端口连接查看history
m0_51755061的博客
03-19 1599
在hadoop平台运行任务出错，想查看日志，但是点击logs显示一段提示信息 查阅资料后得知，是未开启historyserver服务，其默认关闭，是一个独立的服务，网页查看端口号默认：19888，可在yarn-site.xml中配置，配置完后将配置文件复制到其他节点上，同时注意，我指定的是hadoop102地址，所以需要在hadoop102机器上启动（你也可以指定其他地址，启动时必须是在指定的地址节点上） <property> <name>mapreduce.jobhistor
hadoop8088端口查看历史打不开，但是在虚拟机上可以打开的解决办法
Faith_xzc
04-25 603
hadoop8088端口查看历史打不开，但是在虚拟机上可以打开的解决办法问题截图解决办法：修改hosts文件 Win10系统hosts文件步骤效果 问题截图 解决办法：修改hosts文件 Win10系统hosts文件 步骤 1.修改权限（C:\Windows\System32\drivers\etc） 之后应用下就可以了 2.修改改hosts 文件 保存就行了 效果 ...
配置spark的HistoryServer
最新发布
04-27 265
如果需要在spark中配置好historyserver，则需要再修改两处设置。你可以通过http://ip地址:18080查看spark程序的运行。注：首先要手工建立日志记录文件夹，服务器不会自动建立，建立命令如下。如果通过jps能够看到HistoryServer，则说明已经启动了。
hadoop yarn 历史服务器 web无法访问
weixin_45675904的博客
08-12 1603
hadoop yarn 历史服务器 web无法访问
Hadoop 开启 histotryserver
热门推荐
桃李不言下自成蹊
04-13 8万+
上传一个测试任务，其中 /wordcount/input 中包含有一个txt文件，可以自行创建任意内容，输出到名为 /wordcount/result 的目录中。Hadoop自带了一个历史服务，可以通过历史服务在web端查看已经运行完的Mapreduce作业记录，mapreduce.jobhistory.webapp.address 历史服务器web端的端口。mapreduce.jobhistory.address 启动历史服务器的端口，配置文件在hadoop文件夹下的etc/hadoop中。
hadoop节点不显示_Hadoop完全分布式环境下，DataNode进程正常启动，但是网页上不显示DataNode节点...
weixin_30356603的博客
12-24 432
19/05/15 11:03:12WARN hdfs.DFSClient: DataStreamer Exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File/wc_input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of...
记录 hadoop 404 not found
zhuqing2020的专栏
07-18 947
这也不是端口不能打开，
通过浏览器无法访问Hadoop管理页面
m0_67391377的博客
04-12 2455
http://[server_ip]:50070 Hadoop3.x端口号改变：9870 如果显示页面无法访问，有可能是服务器50070（9870）端口被关闭了。 通过如下方式打开50070（9870）端口: service iptables status #查询防火墙状态 service iptables start #开启防火墙 iptables -I INPUT -p tcp --dport 9870 -j ACCEPT #打开指定端口 iptables -I INPUT -p tcp --d
hadoop 50070 无法访问问题解决汇总
01-07
查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好 解决办法3： 必须在hadoop-env.sh文件中设置Java的绝对路径 解决办法4： 是否关闭linux系统的防火墙 [root@djt002 ~]# service ...
安装hadoop2.4.1,启动报错,麻烦帮忙看看是.pdf
11-24
在安装Hadoop 2.4.1的过程中遇到启动报错，这通常是由于配置不正确或者依赖库的问题导致的。从给出的部分内容来看，存在多个错误提示，我们将逐一分析。 首先，`WARN util.NativeCodeLoader: Unable to load native...
解决hadoop本地运行报错
10-11
org.apache.hadoop.io.nativeio.NativeIO.java解决办法 将org放入项目的工程目录下 本地运行MR必备的源码包，本地运行MR必备的源码包，本地运行MR必备的源码包，
springboot对hadoop增删改查源码及hadoop图片访问
02-28
- 当用户尝试在IE浏览器中访问存储在Hadoop上的图片时，如果直接访问HDFS的URL，浏览器可能无法正确解析二进制数据，而是将其当作文本显示，即出现“显示源码”的问题。 - 为了解决这个问题，我们通常会在服务器端...
大数据之hadoop启动失败问题集锦.md
03-04
启动hadoop时遇到的一些问题集锦: 专门从网上找的,虽然现在还没有遇到,说不定以后会遇到,这样也能快速知道如何解决;
安装hadoop2.4.1,启动报错,麻烦帮忙看看是 (2).pdf
11-24
在安装Hadoop 2.4.1的过程中遇到启动报错，这通常是由于配置不正确或者环境设置不完整导致的。以下是一些可能的原因和解决步骤： 1. **Native库加载失败**： 报错中提到`NativeCodeLoader`无法加载针对你平台的...
解决Hadoop无法启动JobHistoryServer 用start-yarn.sh来运行，出现了什么替换了什么值，我看其他也是人打开也是这样，应该不是什么错，但就是无法运行，用jps查看始终没有，...
weixin_42576410的博客
12-23 632
在使用 start-yarn.sh 命令启动 Hadoop 的 JobHistoryServer 时，出现了若干警告消息，其中包括： WARNING: YARN_CONF_DIR has been replaced by HADOOP_CONF_DIR. Using value of YARN_CONF_DIR. WARNING: YARN_LOG_DIR has been replaced b...
关于Spark On Yarn模式启动历史服务（HistoryServer进程）失败
qq_52780611的博客
03-17 6319
关于spark的历史服务history-server进程无法打开
解决Hadoop无法启动JobHistoryServer
大佛拈花的博客
03-01 1万+
gosaint@gosaint:/usr/local/hadoop$ sbin/mr-jobhistory-daemon.sh start ==== 出现如下问题: WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replace...
hadoop集群启动任务后historyserver自动关闭
07-13
您好！对于Hadoop集群中启动任务后HistoryServer自动关闭的问题，可能有几个原因需要排查： 1. 硬件资源不足：检查集群中的硬件资源，确保足够的内存和CPU可用于HistoryServer的运行。如果资源不足，可以考虑增加硬件资源或者调整任务的并发度。 2. 配置错误：请检查Hadoop的配置文件，特别是`mapred-site.xml`和`yarn-site.xml`中与HistoryServer相关的配置项。确保HistoryServer的配置正确，并且指定了正确的日志文件路径。 3. 日志文件过大：如果集群中产生的日志文件过大，可能导致HistoryServer崩溃或关闭。可以考虑定期清理或归档日志文件，以减轻HistoryServer的负载。 4. 异常情况：查看HistoryServer的日志文件，了解是否有异常或错误信息。根据错误信息进行排查和修复。 如果以上方法无法解决问题，建议您提供更多详细的信息，例如Hadoop版本、集群配置、日志文件等，以便更好地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值