Hadoop 2.8.5在ResourceManager（YARN管理界面）查看任务执行状态

最新推荐文章于 2024-08-12 03:15:40 发布
最新推荐文章于 2024-08-12 03:15:40 发布
阅读量6.1k 收藏 5
点赞数 1
分类专栏： Hadoop 文章标签： Hadoop ResourceManager 查看任务执行情况
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44705678/article/details/95201346
版权
在Hadoop 2.8.5中，若要通过ResourceManager（8088端口）查看任务执行状态，需要启动JobHistory Server。由于默认可能未开启，可以在$hadoop/sbin目录下编辑mapred-site.xml，添加相关配置后保存，从而在ResourceManager界面看到任务记录。
摘要由CSDN通过智能技术生成

注：我是用的是kali2.0，不同版本可能不一样

在使用hadoop自带的wordcount之后，在hdfs的web界面(2.8.5版本为端口50070)可以看见任务完成在这里插入图片描述
但在8088的ResourceManager中看不见
在这里插入图片描述
原因是没有打开JobHistory Server
JobHistory Server详解 它的作用我还没搞懂
在hadoop/sbin目录下，输入

mr-jobhistory-daemon.sh start historyserver

不行的话再试试下面的方法

在$HADOOP_HOME/etc/hadoop
vim mapred-site.xml
在这里插入图片描述
在原来的配置文件基础之上添加：

<property>
                    <name>mapreduce.framework.name</name>
最低0.47元/天 解锁文章
Mr.BelieVe
关注
专栏目录
yarn 3.2源码分析之ResourceManager
lzf的博客
04-15 863
概述 ResourceManager是一系列组件的集合。它会加载core-site.xml和yarn-site.xml，同时创建yarn scheduler、RMAppManager等一系列组件。 创建yarn scheduler 获取yarn.resourcemanager.scheduler.class配置项，默认是CapacityScheduler public stati...
如何查看hadoop的resourceManager使用的job调度器
Genebrother
06-23 347
hadoop的job调度器一共有3种，第一种是FIFO调度器、第二种是容量调度器、第三种是公平调度器。可以在resourceManager的web界面查看 http://hadoop1.com:8088/cluster/cluster： 这里的hadoop 版本是 配置job的调度器的参数是在yarn-site.xml文件种配置 <property> <name>yarn.resourcemanager.scheduler.class</name&gt
Hadoop 教程 - Hadoop YARN WebUI服务使用指南
qq_33240556的博客
06-27 453
Hadoop YARN的WebUI服务是管理员和开发者用来监控和管理YARN集群状态的重要工具。
yarn查看任务client
最新发布
weixin_37068619的博客
08-12 35
使用 YARN 查看 Client 任务 在大数据处理和分布式计算的背景下，Apache Hadoop YARN（Yet Another Resource Negotiator）作为一个资源管理和作业调度框架，扮演着极其重要的角色。YARN提供了强大的能力来管理和调度集群资源，因此了解如何使用它来查看和监控任务变得尤为重要...
YARN查看和切换ResourceManager的状态
王义凯 的博客
09-07 9312
当YARN开启了HA之后，我们想要知道两个ResourceManager中哪台是ACTIVE，哪台是STANDBY状态，可以通过下面的方式来获取或切换它们的状态。
hadoop查看mapreduce(yarn)运行状态
进行中
03-15 8701
启动hadoop之后，在web浏览器中加/logs/userlogs，就可以看到所有运行的任务，再找到自己想看的那个任务就行 注意这个端口是ResourceManager(yarn)默认的端口号，如果做了修改，这个端口也是要改的 http://192.168.124.140:8088/logs/userlogs 点击进去就能看到所有任务了 选择其中一个任务 其中 stde...
深入YARN系列2：剖析ResourceManager的架构与组件使用
涤生大数据
06-15 1634
深入YARN系列主要分为： 深入YARN系列1：窥全貌之YARN架构，设计，通信原理等 深入YARN系列2：剖析ResourceManaer的架构与核心源码分析 深入YARN系列3：剖析NodeManager架构，组件机制，生产应用 深入YARN系列4：剖析ApplicationMaster的任务管理机制与生产调优 深入YARN系列5：YARN三大组件配合使用与YARN生产性能优化 ...
hadoop2.8.5安装配置(伪分布式)
派大星的博客
08-21 571
前提 Hadoop配置
Centos7下安装Hadoop2.8.5
A_saying的博客
11-10 360
Centos7下安装Hadoop2.8.5 一、准备Linux环境 1、修改主机名 vi /etc/sysconfig/network 加入以下内容 NEKWORKING =yes HOSTNAME=hadoop0 2、修改主机名和IP的映射 vi /etc/hosts 加入以下内容 192.168.33.61 hadoop0 3、关闭防火墙 #查看防火墙状态 systemctl status firewalld #关闭防火墙 systemctl stopfirewalld #关闭防火墙开机自启
Hadoop-2.8.5全面资料
11-12
- **hadoopbin_for_hadoop2.8.5.zip**：此文件包含了Hadoop-2.8.5版本的二进制文件。通常用于Windows环境下的Hadoop安装。 - **hadoop-eclipse-plugin-2.8.5.jar**：这是一个Eclipse插件，可以方便地在Eclipse IDE...
Hadoop 2.8.5 完全分布式集群搭建
CNXLK的博客
10-18 2026
所用到的软件以及环境介绍： OS : CentOS7.5 JDK : 1.8.0_181 Hadoop ： 2.8.5 Zookeeper ： 3.4.12 Hbase ： 2.1.0    准备服务器3台，假设其地址为 192.168.1.160、192.168.1.161、192.168.1.162；我们以160为master、其余两台为slaver 修改主机名     ...
查看Hadoop ResourceManager web界面
xiameimei_win的博客
03-27 4922
打开浏览器，输入：localhost：8088 点击nodes，可以查看到当前的节点，data1,data2,data3 打开NameNode web界面 注意，现在地址改为localhost:50070
yarn的8088 GUI界面 看 mapreduce 任务
让，
04-30 652
master:8088 为yarn的界面 当进入页面失败，一般都是 相关的服务没有启动的原因 yarn的启动一定要在 hdfs的启动之后，mapreduce一定得在配置文件中设置为 yarn 来 管理
mapreduce查看当前运行程序
枝寒不栖
05-24 1061
就一行： yarn appcation -list
hadoop程序在web界面观察不到作业运行情况的问题
nodarkness的博客
11-04 850
在IDEA本地连接hadoop运行的时候，在web界面是观察不到的，需要打包成jar包，传递到集群上再Hadoop jar xx.jar运行才可以在web界面观察到作业运行情况。
总结系列文章3 查询 MapReduce 任务
m0_60658863的博客
11-02 877
（1）启动集群 （2）查看在线节点数 调用Hadoop的示例jar包 提交任务 终断任务 （1）提交任务 （2）中断任务
Hadoop yarn 8088看不到mapreduce任务进度的解决办法
m0_63716485的博客
11-18 2138
对于Hadoop yarn8088端口或yarn application -list无法看到mapreduce任务进度的解决方法，包含了作者在解决这一问题以及途中遇到的一些问题以及解决这些问题时的全过程。
Tez：运行在YARN上的DAG计算框架
wank1259162的博客
11-09 1618
Tez 产生背景与定位 在开源界，当前最广泛使用的计算模型是 MapReduce，该模型将计算过程抽象成 Map 和 Reduce 两个阶段，并通过 shuffle 机制将两个阶段连接起来。但在一些应用场景中，为了套用 MapReduce 模型解决问题，不得不将问题分解成若干个有依赖关系的子问题，每个子问题对应一个 MapReduce 作业，最终所有这些作业形成一个有向图（DAG，Directed Acyclic Graph），在该 DAG 中，由于每个节点是一个 MapReduce 作业，因此它..
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值