行为分析系统 -- yarn控制台任务日志无法访问

最新推荐文章于 2022-02-08 17:21:59 发布
最新推荐文章于 2022-02-08 17:21:59 发布
阅读量697 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26950567/article/details/106453770
版权

我这边的原因是，JobHistoryServer没有启动，hadoop的start-all.sh并没有帮我启动yarn的日志工程。

yarn-site.xml的该配置  和 mapre-site.xml的该配置，是用来指定yarn的日志工程的部署位置和访问方式的，但是start-all.sh并没有帮我启动它，可以在menber1打下jps看下里面有没有JobHistoryServer来判定。

解决方案

在menber1的hadoop目录里，手动启动

#开启服务
./sbin/mr-jobhistory-daemon.sh start historyserver

#停止服务
./sbin/mr-jobhistory-daemon.sh stop historyserver

再次访问日志页面，可以访问了

刀剑如梦TOTO333
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop yarn 获取日志_yarn logs -applicationId 命令无法导出map日志
weixin_39894932的博客
01-17 834
执行完这个命令后，yarn logs -applicationId application_1473323963029_0001 > /data/logs/app.log，打开app.log文件提示我：hdfs://mycluster-1:8020/tmp/yarn-log/root/logs/application_1473323963029_0001does not exist.Log ...
Yarn查看任务运行情况时8088端口无法访问 常见原因
qq_45289115的博客
11-15 6670
Yarn查看任务运行情况时8088端口无法访问 常见原因
无法访问hadoop yarn8088端口的解决方法
weixin_30604651的博客
11-22 4935
1、检查是否正确的启动了resourcemanager服务 　　若是没有启动，请检查yarn-site-xml配置 2、若是启动了 　　1、检查客户机和虚拟机之间是否能够相互ping通 　　2、检查虚拟机防火墙是否关闭 3、排查 1、首先，各个虚拟机和客户端之前都能ping通，虚拟机都能上外网，说明网络没有问题。 2、各个虚拟机自己的防火墙已经关闭。 ...
HDP 中 hadoop yarn jobhistory 无法访问web ui 中/log 页面的问题
qq_28112019的博客
02-08 3034
HDP hadoop web 无法访问log页面
hadoop yarn web无法访问
新的开始的专栏
10-11 6710
hadoop集群正常启动后，hdfs的web可以访问，但是yarn的web页面无法访问，查看yarn的日志，也是正常启动，没有异常日志，后来以为端口的问题，查看端口的时候，发现了不同： 8088对应的local Address是docker本身的ip，和50070对应的是不一样，然后在yarn-site.xml添加配置： <!--yarn总管理器的web http通讯地址--> <property> <name>yarn.resou...
hadoop Application 里面打不开Node和Logs
john_deng2的博客
12-15 1038
hadoop查询logs的时候，点击Logs打不开，http://hadoop02:8042/node/containerlogs/container_1576407055936_0003_01_000001/root。然后经过查询资料，了解到是因为我们这里用了主机名，所以打开不了，需要在window上面设置才可以。 解决方法： 在C:\Windows\System32\drivers\etc 下...
yarn的WEB页面上不能看log日志
WuBoooo的博客
12-29 1065
要是yarn的WEB页面上不能看。 就直接 yarn logs -applicationId applicationid_XXX_XX > XXX_XX.txt
大数据问题：Hadoop的web页面无法访问logs
manweizhizhuxia的博客
07-20 1188
记录一次大数据问题，征询解决方案。 报错如下： HTTP ERROR 403 Problem accessing /logs/. Reason: User yarn is unauthorized to access this page. Powered by Jetty:// 分析： 1、有的说是权限问题，但是并没有用yarn用户启动Hadoop。 2、还有查到不是超级用户，无法再web页面访问系统文件。 ...
Hadoop Yarn 运行日志查看不了
wangsg2014的专栏
05-10 3572
java.lang.Exception: Unknown container. Container either has not started or has already completed or doesn't belong to this node at all. 从网上搜索下了，找到答案，自己也作为学习，记录下 1、hadoop的日志服务，它是一个独立的服务，默认情况关闭的，需要单独开启该服务 2、该服务会涉及到2个文件的配置，其中包括：yarn-site.xml和mapred-site.xm
yarn开启日志聚集服务
lrf2454224026的博客
09-14 3261
问题描述：如果在查看日志信息出现如下问题：即日志聚集是不可用的情况时，说明我们没有正确配置日志聚集服务。只需要参照下面的步骤配置启动日志聚集服务即可。 1、 日志聚集介绍 MapReduce 是在各个机器上运行的， 在运行过程中产生的日志存在于各个机器上，为了能够统一查看各个机器的运行日志，将日志集中存放在 HDFS 上， 这个过程就是日志聚集。 2、 开启日志聚集 可以关闭集群，也可...
Yarn 安装与使用详细介绍
热爱思考、活力满满、开朗爱笑的年轻人
08-24 7万+
背景 什么是 Yarn 速度快 离线模式 可靠可确定性 网络优化 扁平化模式 版本控制 其他关于 Yarn 的介绍 Yarn 安装 windows mac 方式一 方式二 Yarn 换源 背景 在 Node 生态系统中，依赖通常安装在项目的 node_modules 文件夹中。然而，这个文件的结构和实际依赖树可能有所区别，因为重复的依赖可以合并到一起。npm 客户端把依...
yarn命令使用
热门推荐
mjzhang1993的博客
04-11 10万+
yarn 命令使用版本说明 （当前文档使用版本） yarn : 0.1 安装 macOS 通过 homebrew 安装 brew install yarn Windows 下载安装 下载地址 查看版本 yarn --version 1. 开始一个新工程 yarn init 对应 npm init2. 添加一个依赖 yarn add webpack@2.3.
Yarn管理页面中Aplication history无法访问问题以及Aggregation is not enabled问题
a7187593的博客
05-04 934
Yarn管理页面中Application中的history无法访问问题 第一步：检查mapred-site.xml中是否配置了jobhistory的网页网址 第二步：在windows的hosts文件中添加ip映射 第三步：开始jobhistory 官网文档描述如下： 启动命令如下（需要先进入hadoop所在的文件夹）： sbin/mr-jonhistory-daemon.sh start ...
【Yarn】yarn常用命令 查看日志和Kill任务
weixin_42804692的博客
10-24 2160
工作中常用到的命令，记录一下 将任务运行的日志写入文件方便查看 yarn logs -applicationId applicationxxxxxx > xxxxxx.log 将运行的任务杀掉 yarn application -kill applicationxxxxxx
YARN无任务的日志问题
曹健的博客
12-17 2349
近期在测试CM搭建的测试hadoop集群，在调试sqoop任务过程中，控制台打印的日志不详细，考虑看一下任务的详细日志，但是在yarn的webUI上找不到日志： 在网上查找了其他查看yarn日志的方法——命令行的方式： yarn application -list -appStates ALL（这个不显示时间信息）——找到application_id，然后 yarn logs -appl...
Hadoop脚本启动之Start-all.sh脚本流程解析
KLordy的博客
11-05 1万+
自己的虚拟机环境中部署了一套自己测试用的hadoop环境，平时为了方便启动都是直接调用start-all.sh脚本直接启动，那么这个脚本中的执行流程是如何的，脚本是如何配置参数然后启动集群中各个服务进程的呢？之前只是知道用start-all.sh偷懒，有时间刚好看了一遍这个脚本的整体流程，以start-all.sh作为出发，了解整个脚本启动的流程对于理解集群配置还是有一定帮助的，起码可以了解bin...
眼泪汪汪，花了近10小时解决无法访问yarn管理界面的问题
JinxinTang2014的专栏
04-23 6367
各位看官，不管你们信或不信，昨天我从晚上6点一直搞到第二天凌晨2点，一直未解决一个问题，客户端浏览器那就是无法访问yarn管理界面，以及nodemanager会自动关闭等问题。hdfs 与 zk 都格式化了好多次，但终究没能解决！！！今天晚上又花了2小时终于解决了，眼泪汪汪啊。 好了，不卖关子了，其实出错就是因为centos 默认启动ipv6，而我没有注意到，一直在别的地方转啊转，找不到
hadoop的web管理界面打不开解决办法
qq_34457768的博客
05-24 1万+
初学hadoop，试着搭建hadoop伪分布式，一开始在配置core-site.xml和yarn-site.xml时用的是127.0.0.1，初始化、启动啥的都没问题，但是在用外网访问web管理界面时却打不开；考虑到我这边的服务器用的是阿里云的公网ECS，所以试着在core-site.xml配置公网ip，没想到namenode启动失败，查看日志，发现报错：Cannot assign request...
yarn -kill杀掉yarn任务
最新发布
09-01
你可以使用以下命令来杀死Yarn任务： ``` yarn application -kill ``` 其中，`<application_id>` 是你要杀死的Yarn任务的应用程序ID。你可以通过运行 `yarn application -list` 来获取所有正在运行的Yarn任务的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值