Hadoop之YARN命令

最新推荐文章于 2022-05-05 14:46:21 发布
最新推荐文章于 2022-05-05 14:46:21 发布
阅读量801 收藏 5
点赞数 1
文章标签： 大数据

概述

YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。

使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

YARN有一个参数解析框架，采用解析泛型参数以及运行类。

命令参数 描述
--config confdir 指定一个默认的配置文件目录，默认值是： ${HADOOP_PREFIX}/conf.
--loglevel loglevel 重载Log级别。有效的日志级别包含：FATAL, ERROR, WARN, INFO, DEBUG, and TRACE。默认是INFO。
GENERIC_OPTIONS YARN支持表A的通用命令项。
COMMAND COMMAND_OPTIONS YARN分为用户命令和管理员命令。

表A：

通用项 Description
-archives <comma separated list of archives> 用逗号分隔计算中未归档的文件。 仅仅针对JOB。
-conf <configuration file> 制定应用程序的配置文件。
-D <property>=<value> 使用给定的属性值。
-files <comma separated list of files> 用逗号分隔的文件,拷贝到Map reduce机器，仅仅针对JOB
-jt <local> or <resourcemanager:port> 指定一个ResourceManager. 仅仅针对JOB。
-libjars <comma seperated list of jars> 将用逗号分隔的jar路径包含到classpath中去，仅仅针对JOB。


用户命令：

对于Hadoop集群用户很有用的命令：


application

使用:yarn application [options]

命令选项 描述
-appStates <States> 使用-list命令，基于应用程序的状态来过滤应用程序。如果应用程序的状态有多个，用逗号分隔。 有效的应用程序状态包含
如下： ALL, NEW, NEW_SAVING, SUBMITTED, ACCEPTED, RUNNING, FINISHED, FAILED, KILLED
-appTypes <Types> 使用-list命令，基于应用程序类型来过滤应用程序。如果应用程序的类型有多个，用逗号分隔。
-list 从RM返回的应用程序列表，使用-appTypes参数，支持基于应用程序类型的过滤，使用-appStates参数，支持对应用程序状态的过滤。
-kill <ApplicationId> kill掉指定的应用程序。
-status <ApplicationId> 打印应用程序的状态。

示例1：

[hduser@hadoop0 bin]$ ./yarn application -list -appStates ACCEPTED
15/08/10 11:48:43 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032
Total number of applications (application-types: [] and states: [ACCEPTED]):1
Application-Id	                Application-Name Application-Type User	 Queue	 State	  Final-State Progress Tracking-URL
application_1438998625140_1703	MAC_STATUS	 MAPREDUCE	  hduser default ACCEPTED UNDEFINED   0%       N/A
示例2： 

[hduser@hadoop0 bin]$ ./yarn application -list
15/08/10 11:43:01 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032
Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1
Application-Id	               Application-Name	Application-Type  User   Queue   State    Final-State   Progress Tracking-URL
application_1438998625140_1701 MAC_STATUS	MAPREDUCE	  hduser default ACCEPTED UNDEFINED	0%	 N/A

示例3：

[hduser@hadoop0 bin]$ ./yarn application -kill application_1438998625140_1705
15/08/10 11:57:41 INFO client.RMProxy: Connecting to ResourceManager at hadoop1/10.0.1.41:8032
Killing application application_1438998625140_1705
15/08/10 11:57:42 INFO impl.YarnClientImpl: Killed application application_1438998625140_1705


applicationattempt

使用:yarn applicationattempt [options]

命令选项 描述
-help 帮助
-list <ApplicationId> 获取到应用程序尝试的列表，其返回值ApplicationAttempt-Id 等于<Application Attempt Id>
-status <Application Attempt Id> 打印应用程序尝试的状态。

打印应用程序尝试的报告。

示例1：

[hadoop@hadoopcluster78 bin]$ yarn applicationattempt -list application_1437364567082_0106
15/08/10 20:58:28 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total number of application attempts :1
ApplicationAttempt-Id	               State	AM-Container-Id	                       Tracking-URL
appattempt_1437364567082_0106_000001   RUNNING	container_1437364567082_0106_01_000001 http://hadoopcluster79:8088/proxy/application_1437364567082_0106/
示例2： 

[hadoop@hadoopcluster78 bin]$ yarn applicationattempt -status appattempt_1437364567082_0106_000001
15/08/10 21:01:41 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Application Attempt Report : 
	ApplicationAttempt-Id : appattempt_1437364567082_0106_000001
	State : FINISHED
	AMContainer : container_1437364567082_0106_01_000001
	Tracking-URL : http://hadoopcluster79:8088/proxy/application_1437364567082_0106/jobhistory/job/job_1437364567082_0106
	RPC Port : 51911
	AM Host : hadoopcluster80
	Diagnostics :

classpath

使用: yarn classpath

打印需要得到Hadoop的jar和所需要的lib包路径

[hadoop@hadoopcluster78 bin]$ yarn classpath
/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/etc/hadoop:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/common/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/common/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/hdfs/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/mapreduce/lib/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/mapreduce/*:/home/hadoop/apache/hadoop-2.4.1/contrib/capacity-scheduler/*.jar:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/*:/home/hadoop/apache/hadoop-2.4.1/share/hadoop/yarn/lib/*


container

使用: yarn container [options]

命令选项描述
-help帮助
-list <Application Attempt Id>应用程序尝试的Containers列表
-status <ContainerId>打印Container的状态

打印container(s)的报告

示例1：

[hadoop@hadoopcluster78 bin]$ yarn container -list appattempt_1437364567082_0106_01 
15/08/10 20:45:45 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total number of containers :25
                  Container-Id	          Start Time	         Finish Time	               State	                Host	                            LOG-URL
container_1437364567082_0106_01_000028	       1439210458659	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000028/hadoop
container_1437364567082_0106_01_000016	       1439210314436	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000016/hadoop
container_1437364567082_0106_01_000019	       1439210338598	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000019/hadoop
container_1437364567082_0106_01_000004	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000004/hadoop
container_1437364567082_0106_01_000008	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000008/hadoop
container_1437364567082_0106_01_000031	       1439210718604	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000031/hadoop
container_1437364567082_0106_01_000020	       1439210339601	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000020/hadoop
container_1437364567082_0106_01_000005	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000005/hadoop
container_1437364567082_0106_01_000013	       1439210314435	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000013/hadoop
container_1437364567082_0106_01_000022	       1439210368679	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000022/hadoop
container_1437364567082_0106_01_000021	       1439210353626	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000021/hadoop
container_1437364567082_0106_01_000014	       1439210314435	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000014/hadoop
container_1437364567082_0106_01_000029	       1439210473726	                   0	             RUNNING	hadoopcluster80:42366	//hadoopcluster80:8042/node/containerlogs/container_1437364567082_0106_01_000029/hadoop
container_1437364567082_0106_01_000006	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000006/hadoop
container_1437364567082_0106_01_000003	       1439210314129	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000003/hadoop
container_1437364567082_0106_01_000015	       1439210314436	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000015/hadoop
container_1437364567082_0106_01_000009	       1439210314130	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000009/hadoop
container_1437364567082_0106_01_000030	       1439210708467	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000030/hadoop
container_1437364567082_0106_01_000012	       1439210314435	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000012/hadoop
container_1437364567082_0106_01_000027	       1439210444354	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000027/hadoop
container_1437364567082_0106_01_000026	       1439210428514	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000026/hadoop
container_1437364567082_0106_01_000017	       1439210314436	                   0	             RUNNING	hadoopcluster84:43818	//hadoopcluster84:8042/node/containerlogs/container_1437364567082_0106_01_000017/hadoop
container_1437364567082_0106_01_000001	       1439210306902	                   0	             RUNNING	hadoopcluster80:42366	//hadoopcluster80:8042/node/containerlogs/container_1437364567082_0106_01_000001/hadoop
container_1437364567082_0106_01_000002	       1439210314129	                   0	             RUNNING	hadoopcluster82:48622	//hadoopcluster82:8042/node/containerlogs/container_1437364567082_0106_01_000002/hadoop
container_1437364567082_0106_01_000025	       1439210414171	                   0	             RUNNING	hadoopcluster83:37140	//hadoopcluster83:8042/node/containerlogs/container_1437364567082_0106_01_000025/hadoop

示例2：

[hadoop@hadoopcluster78 bin]$ yarn container -status container_1437364567082_0105_01_000020 
15/08/10 20:28:00 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Container Report : 
	Container-Id : container_1437364567082_0105_01_000020
	Start-Time : 1439208779842
	Finish-Time : 0
	State : RUNNING
	LOG-URL : //hadoopcluster83:8042/node/containerlogs/container_1437364567082_0105_01_000020/hadoop
	Host : hadoopcluster83:37140
	Diagnostics : null

jar

使用: yarn jar <jar> [mainClass] args...

运行jar文件，用户可以将写好的YARN代码打包成jar文件，用这个命令去运行它。


logs

使用: yarn logs -applicationId <application ID> [options]

注：应用程序没有完成，该命令是不能打印日志的。

命令选项描述
-applicationId <application ID>指定应用程序ID，应用程序的ID可以在yarn.resourcemanager.webapp.address配置的路径查看（即：ID）
-appOwner <AppOwner>应用的所有者（如果没有指定就是当前用户）应用程序的ID可以在yarn.resourcemanager.webapp.address配置的路径查看（即：User）
-containerId <ContainerId>Container Id
-help帮助
-nodeAddress <NodeAddress>节点地址的格式：nodename:port （端口是配置文件中:yarn.nodemanager.webapp.address参数指定）

转存container的日志。

示例：

[hadoop@hadoopcluster78 bin]$ yarn logs -applicationId application_1437364567082_0104  -appOwner hadoop
15/08/10 17:59:19 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032


Container: container_1437364567082_0104_01_000003 on hadoopcluster82_48622
============================================================================
LogType: stderr
LogLength: 0
Log Contents:

LogType: stdout
LogLength: 0
Log Contents:

LogType: syslog
LogLength: 3673
Log Contents:
2015-08-10 17:24:01,565 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval;  Ignoring.
2015-08-10 17:24:01,580 WARN [main] org.apache.hadoop.conf.Configuration: job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts;  Ignoring.
。。。。。。此处省略N万个字符
// 下面的命令，根据APP的所有者查看LOG日志，因为application_1437364567082_0104任务我是用hadoop用户启动的，所以打印的是如下信息：
[hadoop@hadoopcluster78 bin]$ yarn logs -applicationId application_1437364567082_0104  -appOwner root
15/08/10 17:59:25 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Logs not available at /tmp/logs/root/logs/application_1437364567082_0104
Log aggregation has not completed or is not enabled.

node

使用: yarn node [options]

命令选项描述
-all所有的节点，不管是什么状态的。
-list列出所有RUNNING状态的节点。支持-states选项过滤指定的状态，节点的状态包
含：NEW，RUNNING，UNHEALTHY，DECOMMISSIONED，LOST，REBOOTED。支持--all显示所有的节点。
-states <States>和-list配合使用，用逗号分隔节点状态，只显示这些状态的节点信息。
-status <NodeId>打印指定节点的状态。

示例1：

[hadoop@hadoopcluster78 bin]$ ./yarn node -list -all
15/08/10 17:34:17 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total Nodes:4
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
hadoopcluster82:48622	        RUNNING	hadoopcluster82:8042	                           0
hadoopcluster84:43818	        RUNNING	hadoopcluster84:8042	                           0
hadoopcluster83:37140	        RUNNING	hadoopcluster83:8042	                           0
hadoopcluster80:42366	        RUNNING	hadoopcluster80:8042	                           0
示例2： 

[hadoop@hadoopcluster78 bin]$ ./yarn node -list -states RUNNING
15/08/10 17:39:55 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Total Nodes:4
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
hadoopcluster82:48622	        RUNNING	hadoopcluster82:8042	                           0
hadoopcluster84:43818	        RUNNING	hadoopcluster84:8042	                           0
hadoopcluster83:37140	        RUNNING	hadoopcluster83:8042	                           0
hadoopcluster80:42366	        RUNNING	hadoopcluster80:8042	                           0
示例3： 

[hadoop@hadoopcluster78 bin]$ ./yarn node -status hadoopcluster82:48622
15/08/10 17:52:52 INFO client.RMProxy: Connecting to ResourceManager at hadoopcluster79/10.0.1.79:8032
Node Report : 
	Node-Id : hadoopcluster82:48622
	Rack : /default-rack
	Node-State : RUNNING
	Node-Http-Address : hadoopcluster82:8042
	Last-Health-Update : 星期一 10/八月/15 05:52:09:601CST
	Health-Report : 
	Containers : 0
	Memory-Used : 0MB
	Memory-Capacity : 10240MB
	CPU-Used : 0 vcores
	CPU-Capacity : 8 vcores
打印节点的报告。


queue

使用: yarn queue [options]

命令选项描述
-help帮助
-status <QueueName>打印队列的状态

打印队列信息。


version

使用: yarn version

打印hadoop的版本。

管理员命令：

下列这些命令对hadoop集群的管理员是非常有用的。

daemonlog

使用:

   yarn daemonlog -getlevel <host:httpport> <classname> 
   yarn daemonlog -setlevel <host:httpport> <classname> <level>
参数选项描述
-getlevel <host:httpport> <classname> 打印运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>
-setlevel <host:httpport> <classname> <level> 设置运行在<host:port>的守护进程的日志级别。这个命令内部会连接http://<host:port>/logLevel?log=<name>

针对指定的守护进程，获取/设置日志级别.

示例1：

[root@hadoopcluster78 ~]# hadoop daemonlog -getlevel hadoopcluster82:50075 org.apache.hadoop.hdfs.server.datanode.DataNode
Connecting to http://hadoopcluster82:50075/logLevel?log=org.apache.hadoop.hdfs.server.datanode.DataNode
Submitted Log Name: org.apache.hadoop.hdfs.server.datanode.DataNode
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO

[root@hadoopcluster78 ~]# yarn daemonlog -getlevel hadoopcluster79:8088 org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Connecting to http://hadoopcluster79:8088/logLevel?log=org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Submitted Log Name: org.apache.hadoop.yarn.server.resourcemanager.rmapp.RMAppImpl
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO

[root@hadoopcluster78 ~]# yarn daemonlog -getlevel hadoopcluster78:19888 org.apache.hadoop.mapreduce.v2.hs.JobHistory
Connecting to http://hadoopcluster78:19888/logLevel?log=org.apache.hadoop.mapreduce.v2.hs.JobHistory
Submitted Log Name: org.apache.hadoop.mapreduce.v2.hs.JobHistory
Log Class: org.apache.commons.logging.impl.Log4JLogger
Effective level: INFO

nodemanager

使用: yarn nodemanager

启动NodeManager


proxyserver

使用: yarn proxyserver

启动web proxy server


resourcemanager

使用: yarn resourcemanager [-format-state-store]

参数选项描述
-format-state-storeRMStateStore的格式. 如果过去的应用程序不再需要，则清理RMStateStore， RMStateStore仅仅在ResourceManager没有运行的时候，才运行RMStateStore

启动ResourceManager


rmadmin

使用:

  yarn rmadmin [-refreshQueues]
               [-refreshNodes]
               [-refreshUserToGroupsMapping] 
               [-refreshSuperUserGroupsConfiguration]
               [-refreshAdminAcls] 
               [-refreshServiceAcl]
               [-getGroups [username]]
               [-transitionToActive [--forceactive] [--forcemanual] <serviceId>]
               [-transitionToStandby [--forcemanual] <serviceId>]
               [-failover [--forcefence] [--forceactive] <serviceId1> <serviceId2>]
               [-getServiceState <serviceId>]
               [-checkHealth <serviceId>]
               [-help [cmd]]
参数选项描述
-refreshQueues重载队列的ACL，状态和调度器特定的属性，ResourceManager将重载mapred-queues配置文件
-refreshNodes动态刷新dfs.hosts和dfs.hosts.exclude配置，无需重启NameNode。
dfs.hosts：列出了允许连入NameNode的datanode清单（IP或者机器名）
dfs.hosts.exclude：列出了禁止连入NameNode的datanode清单（IP或者机器名）
重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。
-refreshUserToGroupsMappings刷新用户到组的映射。
-refreshSuperUserGroupsConfiguration刷新用户组的配置
-refreshAdminAcls刷新ResourceManager的ACL管理
-refreshServiceAclResourceManager重载服务级别的授权文件。
-getGroups [username]获取指定用户所属的组。
-transitionToActive [–forceactive] [–forcemanual] <serviceId>尝试将目标服务转为 Active 状态。如果使用了–forceactive选项，不需要核对非Active节点。如果采用了自动故障转移，这个命令不能使用。虽然你可以重写–forcemanual选项，你需要谨慎。
-transitionToStandby [–forcemanual] <serviceId>将服务转为 Standby 状态. 如果采用了自动故障转移，这个命令不能使用。虽然你可以重写–forcemanual选项，你需要谨慎。
-failover [–forceactive] <serviceId1> <serviceId2>启动从serviceId1 到 serviceId2的故障转移。如果使用了-forceactive选项，即使服务没有准备，也会尝试故障转移到目标服务。如果采用了自动故障转移，这个命令不能使用。
-getServiceState <serviceId>返回服务的状态。（注：ResourceManager不是HA的时候，时不能运行该命令的）
-checkHealth <serviceId>请求服务器执行健康检查，如果检查失败，RMAdmin将用一个非零标示退出。（注：ResourceManager不是HA的时候，时不能运行该命令的）
-help [cmd]显示指定命令的帮助，如果没有指定，则显示命令的帮助。

scmadmin

使用: yarn scmadmin [options]

参数选项描述
-helpHelp
-runCleanerTaskRuns the cleaner task

Runs Shared Cache Manager admin client


sharedcachemanager

使用: yarn sharedcachemanager

启动Shared Cache Manager


timelineserver

之前yarn运行框架只有Job history server，这是hadoop2.4版本之后加的通用Job History Server，命令为Application Timeline Server，详情请看：The YARN Timeline Server

使用: yarn timelineserver

启动TimeLineServer

iteye_14970
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark on Yarn 查看日志及状态的命令
天堂有路你不走，学海无涯苦作舟
01-08 7850
1、查看某个job的日志 yarn logs -applicationId application_1515118561637_0439 2、查看某个job的状态 yarn application -status application_1515118561637_0439 3、kill掉某个job（直接在UI界面或者是终端kill掉任务都是不对的，该任务可能还会继续执行下去，
hadoop job yarn 命令
半日闲的博客
06-13 1273
hadoop命令行 与job相关的： 命令行工具 •  1.查看 Job 信息： hadoop job -list  2.杀掉 Job：  hadoop  job –kill  job_id 3.指定路径下查看历史日志汇总： hadoop job -history output-dir  4.作业的更多细节：  hadoop job -history all output-dir
【Hadoop】yarn-site.xml配置文件详解
热门推荐
康师傅没有眼泪
10-16 1万+
<-- 允许跨域访问的来源，如果有多个，用逗号(,)分隔 --> <property> <name>hadoop.http.cross-origin.allowed-origins</name> <value>*</value> </property><-- 与 DNS 侦听器应绑定到的网络接口关联的地址。 --> ...
Hadoop常用端口号
Markble
09-22 5055
HDFS、YARN、HBase、Hive、Zookeeper常用端口号： 组件 节点 默认端口 配置 用途说明 HDFS DateNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DateNode 50075 dfs.datanode.http.address http服务的端口 HDFS DateNode 50475 dfs.datano.
Hadoop之Yarn的配置（详细步骤）
大数据
11-03 3224
配置 先进入hadoop-2.7.6/etc/hadoop cd /home/ZQ/hadoop-2.7.6/etc/hadoop/ 配置 mapred-site.xml vim mapred-site.xml 增加如下内容 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn&l
Hadoop-Yarn.docx
07-30
1. 用户提交应用程序到YARN，包括ApplicationMaster程序、启动命令和用户程序。 2. ResourceManager分配第一个Container给NodeManager，并指示在该Container中启动ApplicationMaster。 3. ApplicationMaster向...
Hadoop技术YARN工作机制共4页.pdf.zip
11-21
【标题】：Hadoop技术YARN工作机制 在大数据处理领域，Apache Hadoop是一个不可或缺的核心组件，它提供了一个分布式文件系统（HDFS）以及一个资源管理框架——YARN（Yet Another Resource Negotiator）。YARN是...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...
3_Hadoop平台（YARN+MapReduce）1
08-03
【Hadoop平台与YARN+MapReduce】 Hadoop是一个开源的大数据处理框架，它由Apache基金会开发，主要用于处理和存储海量数据。Hadoop的核心组成部分包括HDFS（Hadoop Distributed File System）和MapReduce，其中...
Hadoop YARN 基本架构和发展趋势 - d.pdf
10-16
- **MapReduce v2 (MR2)**：Hadoop 2.x中的MapReduce运行在YARN之上，与YARN紧密集成，提高了任务调度效率和资源利用率。 - **Spark**：内存计算框架，能在YARN上运行，充分利用YARN的资源管理能力，提高大数据处理...
YARN相关配置总结
10-24
最新整理版文档，帮助你在yarn配置上成功！
hadoop yarn配置错误修正
梦里花落的博客
09-07 5491
hadoop执行log查看IP错误 yarn.resourcemanager.address bigdata01:8032 yarn.resourcemanager.scheduler.address bigdata01:8030 yarn.resourcemanager.resource-tracker.add
YARN学习总结-第八节-YARN节点管理
qq_20995587的博客
08-27 2705
NodeManager NodeManager会执行健康检查，可以是检查磁盘或者任意用户指定的检查脚本，如果检查失败，则标记此节点为unhealthy并且报告给ResourceManager，然后停止分配容器到此节点。 磁盘检查 磁盘检查两个目录（local-dirs和log-dirs）分别由yarn.nodemanager.local-dirs和yarn.nodemanager.log-d...
YARN-HA 配置
weixin_45417821的博客
11-11 1902
文章目录YARN-HA 工作机制配置 YARN-HA 集群HADOOP HA 的最终规划 YARN-HA 工作机制 1）官方文档： http://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 2）YARN-HA 工作机制 配置 YARN-HA 集群 1）环境准备 （1）修改 IP （2）修改主机名及主机名和 IP 地址的映射 （3）关闭防火墙 （4）ssh 免密登录 （5）安装 JDK，配
配置YARN集群重启时的作业自动恢复
LittleMagic's Blog
06-11 3871
前言 我们知道，Hadoop YARN的基础架构由ResourceManager实例和NodeManager实例组成。用户提交到YARN集群的作业会抽象成ApplicationMaster和Container的形式，并由NodeManager持有和管理，如下图所示。 问题来了：如果YARN集群整体重启，是不是就意味着所有作业都被强行停止，需要用户手动恢复呢？当然不是，通过适当的配置，...
CDH环境中NodeManager无法启动，ResourceManager无法启动
weixin_42578941的博客
05-05 5488
CDH环境中NodeManager无法启动，ResourceManager无法启动
Hadoop, HBase, Hive, ZooKeeper默认端口说明
fengwuwer的博客
10-28 5828
Hadoop, HBase, Hive, ZooKeeper默认端口说明 组件 Daemon 端口 配置 说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输     50075 dfs.datanode.http.address http服务的端口
YARN详解(ResourceManager/ApplicationMaster/NodeManager/Container)
JensonWong
04-24 5725
一、YARN基本思想 YARN是Hadoop2.0中的资源管理系统，它的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离，主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。其中RM负责整个系统的资源管理和分配，而AM负责单个应用程序的管理。这里的应用程序是指传统的MapReduce作业或作...
hadoop配置_Hadoop基础Yarn的基本配置(一)详细过程
weixin_39786706的博客
11-30 1183
大数据系统和分布式系统的参数配置是一个很依赖经验和技巧的工作，后续会详细的讲解如何通过参数配置进行性能优化。为了简单起见，本文和以前的文章HDFS的安装配置一样，只讨论最简单的基本配置。本文首先讨论了Yarn的背景知识，接着介绍详细的配置配置，最后介绍启动的操作。一、预备知识1.1 Yarn的角色及其在系统栈中的位置图1-1Yarn的角色及其在系统栈中的位置图1-1描述了Yarn在系统...
hadoop中yarn客户端有哪些命令
最新发布
05-28
Hadoop中YARN客户端包括以下常用命令： - yarn application -list: 列出所有正在运行的应用程序。...这些命令可以在命令行中使用yarn命令来调用。例如，“yarn application -list”将列出所有正在运行的应用程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值