mr-jobhistory-daemon.sh 启动和关闭脚本

最新推荐文章于 2022-08-16 16:44:14 发布
最新推荐文章于 2022-08-16 16:44:14 发布
阅读量2.7k 收藏 5
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Visual0522/article/details/79779601
版权
本文介绍如何手动启动Hadoop中的JobHistoryServer，以便通过Web界面查看YARN作业的历史运行情况。通常，在启动HDFS和YARN之后，JobHistoryServer并未自动启动，需使用特定命令进行启动。
摘要由CSDN通过智能技术生成

      通过web查看job的运行情况，当job运行完之后，就无法查看，这是由于集群的historyserver 进程没有启动。因此需要手动启动。

     Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：


mr-jobhistory-daemon.sh start historyserver 命令还启动。

  1. $hadoop/sbin/mr-jobhistory-daemon.sh start historyserver 
  2. $hadoop/sbin/mr-jobhistory-daemon.sh stop historyserver

visual2015
关注
专栏目录
Hadoop2 MR-JobHistory服务介绍
竹叶青 的专栏
05-15 1万+
1）MR-JobHistory服务目标 主要是向用户提供历史的mapred Job 查询 2）MR-JobHistory服务架构 详细解释： a）在运行MR Job时，MR 的 ApplicationMaster会根据mapred-site.xml配置文件中的配置，将MR Job的job history信息保存到指定的hdfs路径（首先保存到临时目录，然后mv到最终目录）
hadoop中的Jobhistory历史服务器
weixin_45889100的博客
05-18 1073
1. 启动脚本 mr-jobhistory-daemon.sh start historyserver 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 默认的配置如下，但是需要手工修改为我们指定的那台服务器。 <property> <name>mapreduce.jobhistory.address</name> <val
mr-jobhistory-daemon.sh 查看mr的历史任务
weixin_30532759的博客
03-20 545
这个脚本的服务是实现web查看作业的历史运行情况。有些情况下，作业运行完了，在web端就无法查看运行情况。 可以通过开启这个的守护进程来达到查看历史任务。 启动命令为 mr-jobhistory-daemon.sh start historyserver 停止命令为 mr-jobhistory-daemon.sh stop historyserver 转载于:https://...
关于mr-jobhistory-daemon.sh的一些了解
qq_25954159的博客
12-18 4143
这个脚本的服务是实现web查看作业的历史运行情况。有些情况下，作业运行完了，在web端就无法查看运行情况。 可以通过开启这个的守护进程来达到查看历史任务。 启动命令为    mr-jobhistory-daemon.sh start historyserver 下面来看一下该脚本的内容 #!/usr/bin/env bash # Licensed to the Apache
Hadoop系列：mr-jobhistory-daemon.sh 查看mr的历史任务
NIO4444
08-27 1392
这个脚本的服务是实现web查看作业的历史运行情况。 有些情况下，作业运行完了，在web端就无法查看运行情况。 可以通过开启这个的守护进程来达到查看历史任务。 启动命令为 mr-jobhistory-daemon.sh start historyserver 停止命令为 mr-jobhistory-daemon.sh stop historyserver ...
mr-jobhistory-daemon.sh start historyserver starting historyserver, logging to /home/datasci/下载/hadoop-2.10.0/logs/mapred-datasci-historyserver-datasci.out
最新发布
05-16
在这个命令中，`mr-jobhistory-daemon.sh`是一个脚本文件，用于启动历史服务器守护进程。`start`是该脚本的一个参数，表示启动历史服务器。`historyserver`是历史服务器的名称，`/home/datasci/下载/hadoop-2.10.0/...
Hadoop集群启动和停止方法
苍夜月明的博客
07-04 4982
    先看一下集群是怎么规划的，这样就知道哪个服务器该开哪个了，不能瞎开啊！    注意点：所有服务器的 HDFS 都有 DataNode，YARN 都有 NodeManagerResourceManager 很消耗内存，不能和 NameNode、SecondaryNameNode 配置在同一台机器上。（有钱人另说，电脑好啥都能干）NameNode和SecondaryNameNode不能在同一台服务器上          什么叫一起启动 / 停止呢？ 就是一下把hadoop102、hadoop103、ha
漫谈hadoop启动脚本
super-yong的博客
01-18 615
首先说一下之前开启服务的脚本，因为习惯，，，所以之前测试是否配置成功的时候直接就把脚本贴上去了，但是好多人问那个脚本之间的区别，所以就有这篇博客了，现在详细说说这些脚本的作用和区别联系： 大家每次启动的时候都是sbin/+脚本名；实际上所有启动和关闭的脚本都在这个文件中，所以打开这个文件： [super-yong@bigdata-01 sbin]$ ll total 92 -rwxr-xr-...
HDFS和YARN HA部署
大门的博客
08-23 616
一、版本 组件名 版本 备注及下载地址 Centos 7.2 64bit lsb_release -a查看操作系统版本 file /bin/ls查看操作系统位数 JRE java version 1.8.45 jdk-8u45-linux-x64.gz Hadoop hadoop-2.6.0-cdh5.15.1 hadoop-2.6.0-cdh5.15.1.tar.gz ...
hadoop（Hdfs+mr）集群实施
09-10
hadoop（Hdfs+mr）集群实施
mr-jobhistory-daemon.sh start historyserver；xception: Connection refused； For more details see解决办法
hilinxs的博客
04-05 1131
问题视图： 分析原因：不能访问jobhistory，启动historyserver就行 解决办法：执行代码 mr-jobhistory-daemon.sh start historyserver 结果如下：
Hadoop 笔记（五）配置历史服务器
算法笨蛋
04-11 2104
之前的文章讲过 Hadoop 安装 和配置，并且运行 wordcount 程序。 本问主要配置历史服务器和日志服务器，用于查看程序运行的历史信息和日志信息。 配置历史服务器 历史服务器可以查看任务运行的历史。 配置 mapred-site.xml 在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</n
hadoop开启历史服务器的过程
hjseo_seg的博客
08-16 1725
3.查看历史服务器是否开启，浏览器进入到8088端口 ，有些Hadoop版本不一样，详细的可以百度。点击右下角的history，有如下页面则开启成功。1.确保Hadoop服务开启，在打开mapred-site.xml添加如下配置，我的hadoop版本为2.7.1。2.不用关闭Hadoop服务我们可以直接启动。jps查看服务，发现启动了历史服务器。...
Hadoop中的jobhistory配置与启动停止
u011250186的博客
06-08 973
Hadoop中的jobhistory配置与启动停止 段渣渣 2018-03-25 19:57:11 9132 收藏 8 分类专栏： Hadoop 文章标签： Hadoop jobhistory 版权 版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79689882 Hadoop中的jobhistory配置与启动停止 jobhistory配置 在yarn-site.xml中添加 &lt..
bash: mr-jobhistory-daemon.sh: command not found...
qq_40938267的博客
11-24 2550
你看的教程是旧的，新版的hadoop启动脚本放在sbin下。start-all.sh已经逐渐被废弃，采用新的启动脚本： 1 2 3 4 5 sbin/hadoop-daemon.sh  --script hdfs start datanode sbin/hadoop-daemon.sh  --script hdfs start...
Hadoop 历史服务配置启动查看
Transkai
02-26 89
历史服务配置启动查看 1)配置mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>hadoop-001:10020</value> </property> <property> <name&g...
大数据环境搭建
雨落
09-20 695
大数据环境搭建 一、虚拟机配置 1、关闭防火墙 # 把SELINUX那值设为disabled [root@master ~]# vim /etc/selinux/config SELINUX=disabled 停止firewall [root@master ~]# systemctl stop firewalld.service 禁止firewall开机启动 [root@master ~]# systemctl disable firewalld.service 2、配置节点网络 [root@mas
hadoop搭建：历史服务配置启动
weixin_40434214的博客
02-25 2612
历史服务配置启动查看 1）配置mapred-site.xml mapreduce.jobhistory.address hadoop101:10020 mapreduce.jobhistory.webapp.address hadoop101:19888 ### 2）查看启动历史服务器文件目录： [root@hadoop101 hadoop-2.7.2]# ls sbin/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值