Flink on yarn 查看SubTask运行的服务器

在任务实际运行过程中,有时发现某个subtask存在某在问题,如CheckPoint较慢,吞吐较慢等。就需要对问题进行排查,定位出subtask所在的服务器。下面,就教大家如何查看各个subtask运行的服务器。

一、登陆yarn ui,进入flink ui界面。

二、获取jobid。

三、通过 rest api 获取 subtask 的 vertice id。

curl {prefix_url}/jobs/{jobid}

如:

curl http://xxxx:8088/proxy/application_1537321457152_19277/jobs/76ae96ee20046384a5d999214a588a71

说明:

(1)prefix_url:即步骤一的 flink ui 地址。

(2)jobid:即步骤二获取的jobid。

四、获取对应task的subtask所在的服务器地址和端口。

curl {prefix_url}/jobs/{jobid}/vertices/{vertice id}

如:

curl http://xxx:8088/proxy/application_1537321457152_19277/jobs/76ae96ee20046384a5d999214a588a71/vertices/3b5ca4c9ab8da3fb5ee7af5b0273cdc9

说明:

(1)prefix_url:即步骤一的 flink ui 地址。

(2)jobid:即步骤二获取的jobid。

(3)vertice id:即步骤三获取的vertice id。

说明:

(1)接口返回的subtask编号从0开始编号,flink ui的编号做了加1处理。只需将flink task 的 subtask 编号减1即可对应。

一起学习

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

magic_kid_2010

你的支持将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值