官网:
Apache Hadoop 3.3.3 – Overview |
Hadoop YARN自带了一系列的web service REST API,我们可以通过这些web service访问集群(cluster)、节点(nodes)、应用(application)以及应用的历史信息。根据API返回的类型,这些URL源归会类到不同的组。一些API返回collector类型的,有些返回singleton类型。这些web service REST API的语法如下:
http://{http address of service}/ws/{version}/{resourcepath}
其中,{http address of service}是我们需要获取信息的服务器地址,目前支持访问ResourceManager, NodeManager,MapReduce application master, and history server;{version}是这些API的版本,目前只支持v1;{resourcepath}定义singleton资源或者collection资源的路径。
下面举例说明这些web service怎么用。
1、获取作业的信息
假设你有一个application_1388830974669_1540349作业,并且运行完了。可以通过下面的命令得到这个作业的一些信息:
|
上面的运行结果是返回一个Json格式的,如下:
|
根据这些信息,用户可以获取到更多关于application_1326821518301_0010的信息,比如大家可以通过上面Json中的trackingUrl从ResourceManage中得到更进一步的信息:
|
如果用户希望得到上述job id为job_1326821518301_10_10作业的一些task信息可以用下面命令执行:
|
送上面可以看出,map任务已经完成了,但是reduce任务还在跑。如果用户需要看一下task_1326821518301_10_10_r_0 task的信息,可以用下面的命令:
|
reduce attempt 还在运行,如果用户需要查看对应的attempt当前的counter values,可以用下面命令:
|
当job完成之后,用户希望从历史服务器中获取这些作业的信息,可以用下面命令:
|
用户也可以从ResourceManager中获取到最终applications的信息:
> 查看指定队列的所有任务: > 查看指定任务的详细信息: > 监控任务:
> 杀死任务:
> 查询集群调度器详情(包含队列详情): > 查询整个集群指标: |