JobHistory启动错误，CDH显示web连接错误的处理方法

已于 2022-02-07 11:40:01 修改
阅读量1.5k 收藏
点赞数
文章标签： hdfs hadoop java
于 2022-02-07 11:39:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyinf_guo/article/details/122806489
版权
本文介绍了在遇到JobHistory服务启动失败，表现为curl 19888端口提示连接拒绝的问题时，如何进行排查。日志中出现`AccessControlException: Permission denied`，原因是/user/history目录权限不足。解决方案是将该目录所有者更改为mapred，重启服务后恢复正常。同时，若hadoop.out日志文件过大，可能导致日志输出异常，需要删除旧日志文件并重启服务以获取正确日志。
摘要由CSDN通过智能技术生成

### job history 服务错误

#### 日志中没有错误信息，进程正常存在。curl 19888端口提示连接拒绝。将原来的日志文件删除后，出现了权限问题的日志。

```

Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/user/history":hdfs:supergroup:drwxr-xr-x

        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkFsPermission(DefaultAuthorizationProvider.java:279)

        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:260)

        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.check(DefaultAuthorizationProvider.java:240)

        at org.apache.hadoop.hdfs.server.namenode.DefaultAuthorizationProvider.checkPermission(DefaultAuthorizationProvider.java:162)

        at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker

最低0.47元/天 解锁文章
flyinf_guo
关注
CDH 组件参数调优
weixin_45682234的博客
11-17 1686
1 集群参考 1.1 集群服务 1.2 Cloudera Management 服务 选项 配置值 Activity Monitor Java Heap Size 2G Alert Publisher Java Heap Size 2G Event Server Java Heap Size 2G Host Monitor Java Heap Size 4G Service Monitor Java Heap Size 4G 1.3 Zookeeper 服务
hadoop historyserver启动，无法访问，查看报错等问题
这都不是事er 的博客
10-03 4296
hadoop historyserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver已启动，可以访问日志，提示可能未完成日志聚集 记录下hadoop遇到的问题 1、historyserver无法启动 mapred-site.xml 文件里配置的server111节点，所以只能在server111节点启动，其他节点均不能启动 2、historyserver已启动，可以看到进程，
对于yarn集群没有jobhistoryserver进程及yarn web网页没有任务信息
最新发布
qq_65864042的博客
03-13 349
2.多次jps都有这个进程了，在虚拟机提交mapreduce任务 但网页没有任务信息，后面发现这是我mapred-site.xml文件出错了，在mapreduce.framework.name这一项中我的是vim.mapreduce.framework.name去掉vim.即可。3.提交mapreduce任务网页中有任务信息了，但显示失败，虚拟机中也报错root is not a leaf queve。按原来文件格式就好，我这排版错误，然后重启Hadoop，提交任务，问题解决。
CDH5.16 Spark2安装成功但启动失败
weixin_44675844的博客
11-09 393
启动Spark的时候会一直报一个错
解决Permission denied: user=root, access=WRITE, inode=“/“:hdfs:supergroup:drwxr-xr-x 问题方法
m0_48830183的博客
08-12 1万+
hadoop
Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x
nieji3057的博客
07-21 2408
yarn 启动异常： Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x...
mr-jobhistory-daemon.sh 启动和关闭脚本
踏雪寻梅
04-01 2695
      通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。     Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：mr-jobhistory-daemo...
CDH安装6.1.0安装文档分享＜＜＜安装＞＞＞
进坑第一步的博客
09-26 623
1.集群资源 1.1 集群资源配置 # 配置十台服务器 每台服务器的配置如下 ： Cores（内核） Memeory（内存） Disk（磁盘） 1 48 256 2 48 256 3 48 256 4 48 256 5 48 256 6 48 256 7 48 256 8 48 256 9 48 256 10 48 256 1.2 集群服务配置 # 每台服务器配置的服务角色如下： IP Zookeeper服务 Yarn服务 Hive服
centos7安装cdh5.12.1
破茧
09-14 1852
  xumingxiang 大数据 2017-10-04  1,738 次浏览 cdh, hadoop, Linux 没有评论 准备4台机器，内存，磁盘尽量给足 node1(master)          192.168.231.128                  内存16G,磁盘50G node2                         192.168.231...
【大数据】手把手教CDH
wnm23的专栏
04-04 745
使用 LXC 的优点就是不需要安装太多的软件包，使用过程也不会占用太多的资源，LXC 是在 Linux 平台上基于容器的虚拟化技术的未来标准，最初的 LXC 技术是由 IBM 研发的，目前已经进入 Linux 内核主线，这意味着 LXC 技术将是目前最有竞争力的轻量级虚拟容器技术。增加的节点功能可以分为边缘节点，计算节点，主节点等，同样功能的节点也会因为服务器配置不同而需要采用不同的配置，例如不同大小的内存，硬盘等。1. Object，实体，常见的例如，server，database，table，URL。
Permission denied: user=administrator, access=WRITE 问题解决
zhangjunli的博客
05-24 6330
Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。 （如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看） 问题描述 上传文件的代码： package com.cys.mapreduce; import java.io.IOException; import java.util.StringTokenizer;
AccessControlException: Permission denied:access=WRITE, inode="/":Joey:supergroup:drwxr-xr-x
qq_33398459的博客
04-29 563
/hadoop/mkdir org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/":Joey:supergroup:drwxr-xr-x 解决方案，将username 设置为null 就好使了，不知道为什么 ...
Hadoop2.x Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp"
fansy1990的专栏
03-06 1万+
在hadoop2中查看网页中的/tmp目录出现下面的错误：Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp"如果要查看hdfs://hostname:50070/tmp下面的文件，可以在hadoop2的安装目录$HADOOP_HOME运行bin/hadoop dfs chmod -R 755 /tmp，然后就可以了。分享
Cloudera Manager agent无法启动，拒绝链接 Failed! trying again in 2 second(s): [Errno 111] Connection refuse
jast
04-09 5535
启动agent节点失败，提示拒绝连接，百度一下很多人说解决方式是用ps -ef | grep supervisord查看是否有进程，有的话 kill 掉（使用kill -9 会自动拉起进程，使用kill），然后重启即可，kill掉后依然无法启动 cloudera-scm-agent.log日志文件报错如下 [01/Apr/2019 16:46:19 +0000] 97874 ...
Hadoop中的jobhistory配置与启动停止
热门推荐
段渣渣推轮子的飙车场
03-25 1万+
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79689882 Hadoop中的jobhistory配置与启动停止 jobhistory配置 在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> ...
web服务器老报链接错误，什么原因导致的？
abc6674752的博客
05-30 457
web访问数据库和nosql服务器老出现socket错误1、sqlserver:Anetwork-relatedorinstance-specificerroroccurredwhileestablishingaconnectiontoSQLServer.Theserverwasnotfoundorwasnotaccessible.Veri...
Kettle集成CDH6.1：Hadoop File Output错误解析与解决
在搭建过程中，用户已经按照常见教程设置了Kettle（版本8.0）与CDH 6.1（包含Hadoop 3.0.0）的连接，包括core-site.xml和hdfs-site.xml等配置文件，以及必要的Hadoop客户端jar包（如hadoop-client-3.0.0-cdh6.1.0....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值