Spark实时进度查询

最新推荐文章于 2024-08-12 03:50:05 发布

我一拳打弯你A柱

最新推荐文章于 2024-08-12 03:50:05 发布

阅读量2.1k

点赞数 4

分类专栏： Spark 文章标签： spark apache spark

本文链接：https://blog.csdn.net/alian_w/article/details/114178059

版权

Spark 专栏收录该内容

22 篇文章 2 订阅

订阅专栏

Spark实时进度查询

大家好，我是一拳就能打爆帕特农神庙柱子的猛男

相信大家都有需求要查询Spark程序执行的进度，所以今天给大家带来Spark实时进度查询的方式整理。我在Spark官网找到了关于Spark监控的相关介绍，Spark指标监控有几种方法：web UI，REST API

1、 web UI

当SparkContext执行的时候，在浏览器中访问服务器IP:4040就可以进入UI界面：

在这里插入图片描述

其中可以访问到的内容有：

一系列的task和scheduler stage
RDD的size和memory usage的总结
环境信息
在运行的excutor的信息

在默认情况下，这种方式只允许在Spark运行期间访问，若要事后查看需要在执行程序之前将 spark.eventLog.enabled 设置为true。在官网关于这部分的内容还介绍了许多参数对应的作用。

2、Rest API

除了通过Web的方式去访问指标，还可以通过Rest Api的方式去访问，返回的Json格式字符串更适合自定义可视化监控。要访问历史数据的话需要访问 http://< server-url >:18080/api/v1 ，若访问正在运行的程序则访问 http://localhost:4040/api/v1。

在Rest Api模式下访问，应用程序被它的ID（app-id）引用。在Yarn中部署集群时应用被标记为attempt-id。

例如，运行一个kmeans聚类的案例后，spark会自动生成app-id，通过sc.applicationId可以获取app-id，从而构造URL访问需要的资源：

println(sc.applicationId)

也可以通过访问 http://localhost:4040/api/v1/applications 获取id：

[ {
  "id" : "local-1614322919314",
  "name" : "Kmeans2PMML",
  "attempts" : [ {
    "startTime" : "2021-02-26T07:01:56.076GMT",
    "endTime" : "1969-12-31T23:59:59.999GMT",
    "lastUpdated" : "2021-02-26T07:01:56.076GMT",
    "duration" : 0,
    "sparkUser" : "dell",
    "completed" : false,
    "appSparkVersion" : "3.0.1",
    "lastUpdatedEpoch" : 1614322916076,
    "startTimeEpoch" : 1614322916076,
    "endTimeEpoch" : -1
  } ]
} ]

访问 http://localhost:4040/api/v1/applications/local-1614322919314/jobs ，返回包含指定信息的字符串：

[ {
  "jobId" : 7,
  "name" : "collectAsMap at KMeans.scala:297",
  "submissionTime" : "2021-02-26T07:02:02.939GMT",
  "completionTime" : "2021-02-26T07:02:03.021GMT",
  "stageIds" : [ 9, 8 ],
  "status" : "SUCCEEDED",
  "numTasks" : 4,
  "numActiveTasks" : 0,
  "numCompletedTasks" : 4,
  "numSkippedTasks" : 0,
  "numFailedTasks" : 0,
  "numKilledTasks" : 0,
  "numCompletedIndices" : 4,
  "numActiveStages" : 0,
  "numCompletedStages" : 2,
  "numSkippedStages" : 0,
  "numFailedStages" : 0,
  "killedTasksSummary" : { }
}, ..... ]