Spark之Monitor 官网翻译

最新推荐文章于 2024-06-04 09:51:33 发布
最新推荐文章于 2024-06-04 09:51:33 发布
阅读量195 收藏
点赞数

文章目录

翻译官网：Monitoring and Instrumentation

在跑Spark作业的时候，或者半夜跑完之后第二天，你常常需要看它运行时的信息，看一下运行情况，以及根据这些信息进行调优等，那么对于Spark作业的运行时监控就显得很重要了。

Monitoring and Instrumentation（监控和仪表化）

有几种方法可以监控Spark应用程序：Web UI，metrics和external instrumentation。

①Web Interfaces（Web 接口）

每一个SparkContext启动一个web UI用来展示应用相关的一些非常有用的信息，默认在4040端口。这些信息包括：

  • task和stage调度的列表
  • RDD大小和内存使用的概要信息
  • 环境信息
  • 正在运行的executor的信息
    在这里插入图片描述
    你可以在浏览器中打开http://<driver-node>:4040网址来访问这些信息。如果在同一台机器上有多个SparkContext正在运行，那么他们的端口从4040开始依次增加（4041，4042等）。

这种方式有一个很严重的弊端就是这个4040 Web UI只在程序运行期间可以看，程序运行完毕后就看不了。所以就有了我们的第二种监控，spark-history-server。

请注意，这些信息默认情况下仅在应用程序的生命周期内可以被访问，比如从你开始启动Spark Context，一直到sc.stop()停掉这个时间范围内可访问。 如果你想在sc.stop()后，就是你的Spark应用程序停掉后，还去访问 web UI ，那么就要在启动应用程序之前，把 spark.eventLog.enabled 这个参数设置成true。用这种方式来配置spark来记录spark事件，这些事件将UI中显示的信息编码为持久存储。

②Viewing After the Fact(通过history server)

程序关闭后查看日志

假定Spark 应用程序事件日志存在，仍然可以通过Spark的 history server来构建Spark 应用程序的UI。你可以通过执行命令来启动history server：
./sbin/start-history-server.sh
默认情况下，它会在http://<server-url>:18080这个地址上创建一个web接口，这个web接口，列举了未完成的和已完成的应用程序和尝试。

使用文件系统提供程序类时（请参阅下面的spark.history.provider），必须在spark.history.fs.logDirectory配置选项中提供基本日志记录目录，并且应包含每个代表应用程序事件日志的子目录。

The spark jobs themselves must be configured to log events, and to log them to the same shared, writable directory. For example, if the server was configured with a log directory of hdfs://namenode/shared/spark-logs, then the client-side options would be:
必须去配置spark作业本身去记录事件，并将事件记录到同一个共享的可写目录中。 例如，如果服务器配置了 hdfs://namenode/shared/spark-logs的日志目录，那么客户端选项将是：

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs

   
   

   
   
  • 1
  • 2

就是说先会将Spark Application信息写入到spark.eventLog.dir目录下，然后spark-history-server会去这个目录把日志信息渲染到Web UI供开发人员查看。

history server可以按如下参数去配置：

Environment Variables(环境变量)
环境变量意思
SPARK_DAEMON_MEMORY分配给history server的内存(默认1G)
SPARK_DAEMON_JAVA_OPTShistory server的JVM选项(默认值：none)
SPARK_DAEMON_CLASSPATHhistory server的Classpath (默认值：none)
SPARK_PUBLIC_DNShistory server的公共地址，如果没有设置，则指向应用程序历史记录的链接可能只能使用history server的内部地址，从而导致链接断开(默认值：none)
SPARK_HISTORY_OPTS对于history server而言的spark.history.* 配置选项 (默认: none).
Spark History Server Configuration Options(配置选项)

这些配置在Spark-env.sh中配。
下面只列了部分属性。

属性名称默认值意思
spark.history.providerorg.apache.spark.deploy.history.FsHistoryProvider实现应用程序历史后端的类的名称。 目前，Spark只提供了一个实现，用于查找存储在文件系统中的应用程序日志。
spark.history.fs.logDirectoryfile:/tmp/spark-events对于文件系统历史记录提供程序，包含要加载的应用程序事件日志的目录的URL。 这可以是本地file：//路径，HDFS路径hdfs：// namenode / shared / spark-logs或Hadoop API支持的备用文件系统。
spark.history.fs.update.interval10s文件系统历史记录提供程序检查日志目录中的新日志或更新日志的时间段。 较短的间隔可以更快地检测新应用程序，代价是更多服务器负载重新读取更新的应用程序。 更新完成后，已完成和未完成的应用程序列表将反映更改。
spark.history.retainedApplications50保留缓存中UI数据的应用程序数。 如果超过此上限，则将从缓存中删除最旧的应用程序。 如果应用程序不在缓存中，则必须从磁盘加载它（如果从UI访问）。
spark.history.ui.port18080history server 的Web界面绑定的端口
spark.history.fs.cleaner.enabledfalse是否周期性的删除storage中的event log(生产必定是true)
spark.history.fs.cleaner.interval1d多久删除一次
spark.history.fs.cleaner.maxAge7d每次删除多久的event log，配合上一个参数就是每天删除前七天的数据

注意，在所有这些web接口可以通过点击“表头”来对这些表格进行排序。这使得鉴别运行速度慢的任务、判别数据倾斜等很容易。

注意事项：

  • 1.history server对于已完成和未完成的Spark作业都会展示出来。 如果应用程序在失败后进行多次尝试，失败后的尝试将会被展示出来，以及任何正在进行的未完成尝试或最终成功尝试也会被展示出来。

  • 2.不完整的应用程序仅间歇性更新。更新间隔的时间由检查被更改文件（spark.history.fs.update.interval）的间隔定义。 在较大的集群上，可以将更新间隔设置为较大的值。 查看正在运行的应用程序的方法实际上是查看自己的Web UI。

  • 3.如果应用程序退出时未将自己注册为已完成，则将被列为未完成-即使它们不再运行。如果应用程序崩溃，就会发生这种情况。

  • 4.Spark作业完成的信号的一种方法是显式停止Spark Context ( sc.stop() )，或者在python中使用with SparkContext() as sc: construct来处理Spark Context 的设置和关闭。

③REST API

如果公司有自己的监控平台，想获取到Spark Application日志信息到平台展示可以通过REST API。这是通过rest ful请求的方式来获取spark的作业的信息，通过这种方式我们可以构建我们自己web界面。

除了在UI界面中查看指标外，它们还可以以JSON格式的方式来提供使用。 这为开发人员提供了一种为Spark创建新的可视化和监视工具的简便方法。 JSON既可用于正在运行的应用程序，也可用于历史记录服务。
端点安装在/api/v1。 例如，对于历史服务器，它们通常可以在http://<server-url>:18080/api/v1访问，对于正在运行的应用程序，可以在http://localhost:4040/api/v1访问。

在这个REST API中，应用程序由其application ID[app-id]引用。当在yarn上运行时，每个应用程序可能有多次尝试，但只有cluster 模式下的应用程序才有attempt ID，在client模式下的应用程序没有attempt ID。可以通过[attempt-id]来识别YARN cluster 模式中的应用程序。在下面列出的API中，当在YARN cluster 模式下运行时，[app-id]实际上是[base-app-id] / [attempt-id]，其中[base-app-id]是YARN application ID。

具体API列表，这里不列了，需要去看官网。

举几个例子说明一下如何使用：

  • 获取所有的application的信息:
    http://ip:18080/api/v1/applications
  • 获取正在跑或者完成的application
    http://ip:18080/api/v1/applications/?status=running
    http://ip:18080/api/v1/applications/?status=completed
  • 只获取1条application
    http://hadoop000:18080/api/v1/applications/?limit=1
    获取某一具体的application:
    http://hadoop000:18080/api/v1/applications/local-1678247925731

可以检索的job和stage的数量受standalone Spark UI的相同保留机制的限制；“spark.ui.retainedjobs”定义了触发关于job的垃圾收集（garbage collection 简称GC）的阈值，"spark.ui.retainedstages"定义了触发关于stage的垃圾收集的阈值。意思就是达到了这个阈值就进行垃圾回收。请注意，垃圾收集是在回放时进行的：通过增大这些值并重新启动history server，可以检索更多条目。

Executor Task Metrics（了解）

The REST API exposes the values of the Task Metrics collected by Spark executors with the granularity of task execution. The metrics can be used for performance troubleshooting and workload characterization. A list of the available metrics, with a short description:
REST API 以任务执行的粒度 暴露了Task Metrics的值，Task Metrics它是由Spark executors收集的。这些指标可用于性能故障排除和工作负载描述。
可用指标的比如：executorRunTime、executorCpuTime、jvmGCTime等等，这里不进行描述，请看官网。

API Versioning Policy（API 版本策略）（了解）

这些终端经过了强大的版本控制，可以更轻松地开发应用程序。 尤其是Spark：

  • 不会从一个版本中移除端点
  • 对于任何给定的端点，永远不会删除单个字段
  • 可以添加新的端点
  • 可以将新字段添加到现有端点
  • 可以在将来添加新版本的api作为单独的端点（例如，api / v2）
  • 新版本不需要向后兼容
  • Api版本可能会被删除，但只有在至少一个与新api版本共存的次要版本之后

请注意，即使在检查正在运行的应用程序的UI时，仍然需要 applications / [app-id]部分，尽管只有一个应用程序可用。 例如， 要查看正在运行的应用程序的作业列表，您可以访问http://localhost:4040/api/v1/applications/[app-id]/jobs。 这是为了在两种模式下保持路径一致。

④Metrics（了解）

此方式基本用不到，除非对spark研究很深的人才才可能会用。

Spark基于Coda Hale Metrics库提供一个可配置的 metrics system指标系统。这允许用户向不同的终端发送Spark指标信息，包括HTTP、JMX和CSV文件。指标系统可以通过配置文件来进行配置，Spark默认将配置文件保存在$SPARK_HOME/conf/metrics.properties。一个自定义文件路径可以通过 spark.metrics.conf 这个配置属性来指定。默认情况下，用于driver 或 executor metrics 的root namespace是spark.app.id的值。然而，通常情况下，用户希望能够在驱动程序和执行器的应用程序之间跟踪指标，这对于application ID（即spark.app.id）来说很难做到，因为它会随着应用程序的每次调用而改变。对于此类用例，可以使用spark.metrics.namespace配置属性为指标报告指定自定义命名空间。例如，如果用户希望将metrics命名空间设置为应用程序的名称，则可以将 spark.metrics.namespace属性设置为类似于${spark.app.name}的值。然后，spark适当地扩展该值，并将其用作指标系统的root namespace。Non-driver and executor metrics从不以spark.app.id作为前缀，spark.metrics.namespace属性也不会对此类指标产生任何此类影响。
指标信息配置文件的语法有一个示例文件—$SPARK_HOME/conf/metrics.conf.template.

因为基本用不到这个，这里不再介绍，请看官网。

⑤Advanced Instrumentation（了解）

高级的仪器

有几个外部工具可用来分析Spark作业的性能：

  • 集群范围的监控工具，比如 Ganglia，可以洞察整个集群的利用率和资源瓶颈。例如，Ganglia仪表盘可以迅速揭示出某个特定载荷是磁盘相关，网络相关，还是CPU相关的。
  • OS性能分析工具，比如 dstat, iostat,和 iotop， 可以提供各个节点的细粒度的分析。
  • JVM工具，比如 jstack提供了堆栈跟踪，jmap提供了创建堆转储，jstat提供了时间序列统计报告，还有jconsole提供了各种JVM属性的视觉显示，它们对JVM内部构件的舒适运作都是非常有用的。

另外基于ES的监控可参考：
Spark Streaming + Elasticsearch构建App异常监控平台

Try Everything、
关注
第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本)
段智华的博客
06-05 1万+
第114课:Spark Streaming电商广告点击综合案例实战(测试版本) /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/ 综合案例的实战我们分步进行： 1.Mysql 中建立表 ：
Scala并发编程实战：Monitor与synchronized
Liam's Blog (AI & BigData)
11-11 1754
Java并发编程最常用和易用的技术莫过于synchronized关键字，而Scala的并发编程之旅也可以从synchronized开始。而synchronized的背后其实是monitor技术。 什么是Monitor Monitor是解决并发编程问题的一种常用技术，可以有效解决互斥和同步两大常见问题，通常翻译为‘监视器’或‘管程’。个人认为‘管程‘更能表达monitor的含义，指的是管理共享变量以...
sparkmonitor:从Jupyter Notebook监视Apache Spark
05-24
Spark Monitor-Jupyter Notebook的扩展 注意：此项目现在位于 对于该项目的Google Summer of Code最终报告， 关于 + = SparkMonitor是Jupyter Notebook的扩展，可实时监视从笔记本生成的Apache Spark Jobs。 该扩展提供了一些功能，可从笔记本界面本身内部监视和调试Spark作业。 特征 在Jupyter笔记本中运行Spark作业的单元下方自动显示实时监视工具 带有进度条的作业和阶段表 显示工作，阶段和任务的时间表 该图显示了活动任务和执行者核心的数量与时间的关系 一个笔记本服务器扩展，可代理Spark UI并在iframe弹出窗口中显示，以获取更多详细信息 有关功能的详细列表，请参见用例笔记本 这个怎么运作 快速安装 pip install sparkmonitor jupyter nbe
Spark之Monitor
゛Never give up~
07-08 299
在跑Spark作业的时候，或者从半夜跑到第二天，你常常需要看下运行信息以及运行情况；这样就可以根据这些运行情况进行调优，由此可见，Spark作业在运行时的监控就显得尤为重要了。 常用的Spark应用程序监控方法有Spark Web UI、Spark HistoryServer UI、REST API等，详情可参考上一篇转载的博客。 通过Spark Web UI进行监控 在每一个SparkConte...
探索与优化：Spark Monitor - Jupyter Notebook的智能伙伴
最新发布
gitblog_00057的博客
06-04 278
探索与优化：Spark Monitor - Jupyter Notebook的智能伙伴 sparkmonitor Monitor Apache Spark from Jupyter Notebook 项目地址: https://gitcode.com/gh_mi...
Spark Streaming项目实战
06-04 1415
初始实时流处理 需求：统计主站每个（指定）课程访问的客户端、地域信息分布 地域：ip转换， SparkSQL项目实战 客户端：useragent获取， hadoop基础课程 实现步骤： 课程编号、IP信息、useragent 进行相应的统计分析操作：MR/Spark 项目框架： 日志收集： Flume 离线分析：MR/Spark 统计结果图形化展示 问题： 小时级别 10分钟 ...
influxdbJavaSDK的使用以及与spark的集成
strelizia
11-06 1473
influxdb中文文档 这个文档应该是个人翻译的，不是很全，也可以去官网看英文文档。 下载和安装 安装前先检查端口是否有占用，influxdb主要使用的端口是8086、8088和8083 netstat -tulnp|grep 8086 如果发现有占用的话选择停止掉或者修改influx默认端口。 rpm包安装 wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.2.x86_64.rpm yum localinstall influx
Spark基础全解析
热门推荐
vinfly_li的博客
02-28 2万+
SPARK全解析 标签（空格分隔）： Spark SPARK全解析 Spark是什么？ Spark 源码编译 Spark本地模式安装配置及Spark Shell基本使用 Spark集群 Spark Application开发、运行及监控（IDEA） Spark 日志监控（HistoryServer）配置 Spark RDD Spark共享变量 Spark 内核 Spark 依赖 Spa...
Python库 | sparkmonitor-s-0.0.16.tar.gz
03-10
python库。 资源全名：sparkmonitor-s-0.0.16.tar.gz
Spark详解
qq_40322236的博客
02-06 6936
Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。在之前的学习中，Hadoop的 MapReduce 是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架 Spark 呢，这里就不得不提到 Spark 和 Hadoop 的关系。
大数据学习 之 Spark 概述
阳光大男孩！！！的博客
08-31 7666
Spark简介 Spark 是一种由 Scala 语言开发的快速、通用、可扩展的大数据分析引擎。 Spark主要由五部分组成： Spark Core Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL， Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的 Spark SQL Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL 或者
Spark简介
m0_56719462的博客
05-09 4728
同时，Spark 还可以与多种存储系统和数据源集成，并提供了丰富的语言接口和集群管理器集成，以满足不同的数据处理和分析需求。此外，Spark 还提供了丰富的机器学习和图处理库，以支持大规模数据集的机器学习和图处理任务。此外，Spark 对于 PB 级别的数据处理能力不如 Hadoop，但是 Spark 可以与其他存储系统集成，以支持更大规模的数据处理。Spark MLlib：Spark 的机器学习库，它提供了一系列机器学习算法，以支持大规模数据集的机器学习任务。
（一）spark是什么？
一智哇的博客
10-29 2万+
1.spark是什么？ spark是一个用来实现快速，通用的集群计算平台 spark适用于各种各样原先需要多种不同的分布式平台的场景，包括批处理，迭代算法，交互式查询，流处理。通过在一个统一的框架下支持这些不同的计算，spark使我们可以简单而低耗地把各种处理流程整合在一起。 2.spark的用途 （1）：数据科学任务 具备 SQL、统计、预测建模（机器学习）等方面的经验，以及一定的python，matlab，R语言能力的数据科学家对数据进行分析，以回答问题或发现一些潜在规律。 （2）：数据处理任务
Spark 基本知识介绍
不忘初欣丶的博客
04-05 3390
spark基本概念理解
Spark 系列（一）—— Spark简介
黑白影的博客
07-19 1533
Spark简介 一、简介 Spark于2009年诞生于加州大学伯克利分校AMPLab，2013年被捐赠给Apache软件基金会，2014年2月成为Apache的顶级项目。相对于MapReduce的批处理计算，Spark可以带来上百倍的性能提升，因此它成为继MapReduce之后，最为广泛使用的分布式计算框架。 二、特点 Apache Spark具有以下特点： 使用先进的DAG调度程序，查询优化器...
Spark -- Monitoring（spark作业监控和测量）
patrick_big_data的博客
02-20 1176
Monitoring and Instrumentation （监控和测量） 有几种方式去监控Spark applications，如web UIs、metrics及external instrumentation。 Web Interfaces（web界面）
大规模集群数据处理架构详解：Spark论文中文翻译
该论文由CSDNCODE翻译社区进行中文翻译，由35名译者和6名审校共同协作完成。论文的版权归属明确，个人或教育用途可以免费获取电子版或纸质副本，但任何形式的商业复制或再版必须获得事先授权。项目经理吴小然和主...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值