Spark程序监控

最新推荐文章于 2024-06-14 09:33:33 发布
最新推荐文章于 2024-06-14 09:33:33 发布
阅读量6.9k 收藏 2
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pofengliuming/article/details/53019711
版权
本文介绍了如何监控Spark程序，包括通过4040端口获取实时信息，启用eventlog记录历史数据，以及利用metrics系统、外部工具（如Ganglia、JVM工具）进行性能分析。还提到了Spark历史服务器的配置和使用。
摘要由CSDN通过智能技术生成

4040端口

可以在浏览器中打开http://:4040网址，网址显示的信息：
任务和调度状态的列表
RDD大小和内存使用的统计信息
正在运行的executor的信息
环境信息
如果在同一台机器上有多个SparkContext正在运行，那么他们的端口从4040开始依次增加（4041，4042等）。

这里写图片描述

在应用程序运行期间，你可以在这个Web页面获得Spark实时监控信息，如果希望在程序运行完以后查看这些信息，需要在应用程序开始之前把spark.eventlog.enabled属性设定为true,这样所有运行的信息就会被储存起来。

Metrics

Spark基于Coda Hale Metrics库提供一个可配置的统计系统。这允许用户向不同的终端发送统计信息，包括HTTP、JMX和CSV文件。统计系统可以通过配置文件来进行配置，Spark默认将配置文件保存在SPARKHOME/conf/mertics.conf。用户可以通过Javapropertyspark.metrics.conf来修改配置文件的保存路径。Spark根据组件的不同将统计信息分为多个实例。可以配置每一个实例向多个方向发送统计信息。目前支持下面几种实例：master:Spark管理进程applications:位于master的组件，统计发送各种应用的信息worker:Spark工作进程executor:执行器driver:Spark驱动程序每一个实例可以向多个渠道发送统计信息。渠道包含在包org.apache.spark.metrics.sink：ConsoleSink：将统计信息发送到控制台CSVSink：每隔一段时

最低0.47元/天 解锁文章
pofengliuming
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
08-01
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.csdn.net/linge1995/article/details/81326146
《Spark 官方文档》监控和工具
SadOnMyOwn的博客
04-28 1661
《Spark 官方文档》监控和工具
掌握Spark性能指标 —— spark-metrics库的深度解析与应用指南
gitblog_00004的博客
06-14 473
掌握Spark性能指标 —— spark-metrics库的深度解析与应用指南 项目地址:https://gitcode.com/groupon/spark-metrics 项目简介 spark-metrics 是一个专门针对Apache Spark的扩展库，它使您能够利用Dropwizard/Codahale Metrics的强大功能，将应用程序中的指标数据聚合到所有executor中，为你的S...
spark 任务监控
wang972779876的博客
04-29 1046
Spark提供了restful api的方式用于spark任务的监控api截图如下：api访问方式： http://history-ip:18088/api/v1/ 官方文档：http://spark.apache.org/docs/latest/monitoring.html Spark 分为不同的stage执行所以spark没有提供方式直接查看任务执行成功和失败，可以通过/applications 获取application_id和attempt_id 然后根据 /application...
spark streaming 应用程序 监控 邮件提醒
qq_14950717的博客
03-05 3741
spark streaming应用程序，放到线上后，怎么监测spark streaming程序的阻塞状态， 虽然spark 提供了spark webUI去查看，但是作为开发人员总不能天天去看spark webUI页面吧， 去官网看，貌似可以通过请求spark 自带的jetty 服务器可以获取相关检测统计信息, http://host:8088/proxy/application_1517...
Spark监控篇
自渡
03-30 1152
Spark监控官网地址 一、每个Spark程序都有的4040端口Web 界面进行监控 Every SparkContext launches a web UI, by default on port 4040, that displays useful information about the application. This includes: A list of scheduler s...
sjf0115#PubLearnNotes#[Spark]Spark Streaming 2.3.1 监控应用程序1
07-25
当使用 StreamingContext 时，Spark Web UI 会额外显示一个 Streaming 选项卡，用来显示正在运行的 Receivers 的统
boss直聘spark指标分析程序设计
11-21
总之，Spark SQL结合Scala提供了一种强大且灵活的方式来处理大数据分析任务，尤其适合像Boss直聘这样的企业进行业务指标的深度挖掘和实时监控。通过熟练掌握Spark SQL的API和技巧，可以有效地提升数据分析效率，为...
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
04-01
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： ...
大数据技术分享 Spark技术讲座 部署和监控异构机器学习应用程序 共73页.pdf
最新发布
07-18
### 大数据技术分享：Spark技术讲座与部署监控异构机器学习应用程序 #### 一、引言 在当今数字化时代，大数据技术已经成为推动各行业发展的重要驱动力之一。随着数据量的爆炸性增长，如何高效地处理和分析这些数据...
spark监控
跋跋寒的博客
08-14 7445
有几种方法可以监控Spark应用程序：Web UI，指标和外部检测。 Web界面 默认情况下，每个SparkContext都会在端口4040上启动Web UI，以显示有关应用程序的有用信息。这包括： 调度程序阶段和任务的列表 RDD大小和内存使用情况的摘要 环境信息。 有关运行执行程序的信息 您只需http://<driver-node>:4040在Web浏览器中打开即可访...
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
Big Whale 巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring Boot 2.0开发，打包后即可运行。 概述 1.架构图 2.特性 基于SSH的脚本执行机制，部署简单快捷，仅需单个服务 基于Yarn Rest Api的任务状态同步机制，对Spark、Flink无版本限制 支持分布式 支持失败重试 支持任务依赖 支持复杂任务编排（DAG） 支持流处理任务运行管理和监控 支持Yarn应用管理 部署 1.准备 Java 1.8+ Mysql 5.1.0+ 下载项目或git clone项目 为解决 github README.md 图片无法正常加载的问题，请在hosts文件中加入相关域名解析规则，参考： 2.安装 创建
spark-alarm:Apache Spark 的警报和监控工具
05-31
Spark-Alarm 项目简介 提供一些基本的报警手段，并可以通过SparkListener实现对Spark内部执行逻辑进行监控报警 报警模式 使用限制 简介 邮件 通用，无限制 通过 SMTP 协议发送告警 哨兵 网易内部使用 通过 HTTP 协议发送告警 Smilodon 网易内部使用 通过 HTTP 协议发送告警 使用方法 编译 # 克隆本项目 git https://github.com/yaooqinn/spark-alarm.git # cd spark-alarm # mvn clean package 可以得到内置示例项目jar包：streaming-alarmer/target/streaming-alarmer-1.0-SNAPSHOT.jar，该构件实现了对Streaming程序"异常退出"和""任务堆积"等相关关键事件进行简单的告警服务 配置 配置工作分为三个过
spark基于源码进行离线任务监控
qq_42359675的博客
09-09 350
import javax.mail.Authenticator; import javax.mail.Message.RecipientType; import javax.mail.PasswordAuthentication; import javax.mail.Session; import javax.mail.Transport; import javax.mail.internet.InternetAddress; import javax.mail.internet.MimeMessage;
[Spark]二Spark性能调优|Spark任务监控|程序调优|资源调优
胖胖的博客
10-20 1171
对Spark性能的调优离不开对任务的监控，只有在运行过程中，通过监控手段发现问题，才能迅速定位问题所在。SparkUI使用在运行Spark应用程序时，默认会在Driver节点的4040端口启动WebUI服务，通过此WebUI可对Spark的应用程序的Job划分、Stage划分、Task执行缓存的使用等各个方面进行了监控。在执行Shuffle操作时，Map端使用ExternalSorter对数据进行分组，按分区排序，如果内存不足，则会将内存中的数据写入磁盘，为后续数据迭代留出内存空间。
Spark 监控
Singularinty的博客
06-20 456
有几种方法可以监视 应用 : ， 和其他扩展工具。SparkWebUImetricsWeb 接口每一个 启动一个 ，默认情况下使用端口 可以显示关于运行程序的有用信息。这包括 : SparkContextwebUI4040，调度器阶段和任务的列表 RDD 大小和内存使用的概要信息 环境信息 正在运行的程序的信息 您只需打开 的 浏览器就可以访问。如果在同一主机上运行多个 ，他们将开...
graphite_export+prometheus+grafana配置spark监控模版
dymkkj的专栏
08-27 942
{ "annotations": { "list": [ { "builtIn": 1, "datasource": "-- Grafana --", "enable": true, "hide": true, "iconColor": "rgba(0, 211, 255, 1)", "name": "Annotations & Alerts", "typ.
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Derekjiang的笔记簿
05-05 4916
转载自：http://developer.51cto.com/art/201604/509314.htm?utm_source=tuicool&utm_medium=referral ----------------------------- 我们今天很荣幸的宣布项目Dr.Elephant的开源，这是一个强大的工具，可以帮助Hadoop和Spark用户理解、分析、以及改善系统的性能。在
SparkStreaming的应用：实时监控
禅与计算机程序设计艺术
01-31 129
1.背景介绍 SparkStreaming的应用：实时监控 作者：禅与计算机程序设计艺术 背景介绍 大数据处理技术的演变 在过去的几年中，随着互联网和物联网等领域的快速发展，越来
通过普罗米修斯监控spark
06-01
3. 启动 Spark Exporter：在启动 Spark 程序之前，你需要先启动 Spark Exporter 并在配置文件中指定要监控的 Spark 应用程序的端口号。 4. 配置 Spark 应用程序：在 Spark 应用程序中，你需要添加 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值