远程提交任务yarn_「spark」通过yarn rest api 监控spark任务

本文介绍了如何利用YARN的REST API来监控和管理运行在YARN上的Spark任务,包括查看指定应用详情、监控特定用户任务以及通过API提交和杀死任务的示例操作。
摘要由CSDN通过智能技术生成

yarn提供了rest api 可以监控,管理跑在yarn上的任务。可以通过这些rest api 管理,监控spark on yarn任务

以下的几个简单操作:

官方详细rest api地址:https://hadoop.apache.org/docs/r2.9.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html

70861ddd26c846f6eeddf396410a3064.png

一.spark任务监控

1.监控指定应用:curl -s "http://rm2.yarn.ns1.svc.xx.com:8088/ws/v1/cluster/apps/application_1571703359463_86564"

为resourceManager地址:rm2.yarn.ns1.svc.xx.com

2.监控用户为dayueet的任务:

http://rm2.yar.xx.xx.com:8088/ws/v1/cluster/apps?user=dayueet

3.监控正在运行的dayueet用户提交的任务

http://rm2.yarn.xx.xx.com:8088/ws/v1/cluster/apps?user=dayueet&state=running

二.rest api 提交任务

You can use the Submit Application API to submit applications. For example:<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值