一、当前Spark程序所有分析任务的信息获取
1、打开swagger-ui随机点选五个分析(我在原Hadoop项目加了几个单词统计分析做实验,这里使用单词统计分析主要考虑不需要连接HBase可直接本地IDEA运行,Jar包集群环境跑应该是相同的),五个分析即5个Job,打开http://ip:4040/发现当前app所有Job是排队进行的,如下:
2、解析以下接口获取当前app的id
http://localhost:4040/api/v1/applications
3、根据app的id解析以下接口获取当前app的所有Job(包括已完成的、正在执行的、排队等待的)
http://localhost:4040/api/v1/applications/appid/jobs
4、Job信息分析与前端交互
摘取部分Job信息:
{
"jobId" : 4,
"name" : "count at WordCountService.scala:31",
"description" : null,
"submissionTime" : "2019-10-24T01:20:09.345GMT",
"completionTime" : null,
"stageIds" : [ 4 ],
"jobGroup" : null,
"status" : "RUNNING",
"numTasks" : 65536,
"numActiveTasks" : 0,
"numCompletedTasks" : 0,
"numSkippedTasks" : 0,
"numFailedTasks" : 0,
"numKilledTasks" : 0,
"numCompletedIndices" : 0,
"numActiveStages" : 1,
"numCompletedStages" : 0,
"numSkippedStages" : 0,
"numFailedStages" : 0,
"killedTasksSummary" : { }
}, {
"jobId" : 3,
"name" : "count at Test1Service.scala:29",