Spark 监控信息 API 地址
https://spark.apache.org/docs/latest/monitoring.html#rest-api
要注意的是,当任务是运行在yarn集群上时,网址不再是localhost:4040,而是active-rm-address:port
后面的地址信息页不再是/api/v1,而是要加上代理路径/proxy/application_id/api/v1/…
给一个在yarn上获取StreamingBatch信息的使用示例:
http://<active-rm-address:port>/proxy/application_1616006606833_39775/api/v1/applications/application_1616006606833_39775/streaming/batches