Spark的测量系统MetricsSystem

最新推荐文章于 2024-06-14 09:33:33 发布
最新推荐文章于 2024-06-14 09:33:33 发布
阅读量3.2k 收藏 2
点赞数
分类专栏： 大数据-spark 文章标签： spark Metrics System 监测系统 源代码
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/78659478
版权
大数据-spark 专栏收录该内容
204 篇文章 478 订阅 ¥49.90 ¥99.00
订阅专栏

1.美图

在这里插入图片描述

2.MetricsSystem介绍

监控是一个大系统完成后最重要的一部分。MetricsSystem 比较好理解，一般是为了衡量系统的各种指标的度量系统。算是一个key-value形态的东西。举个比较简单的例子，我怎么把当前JVM相关信息展示出去呢？做法自然很多，通过MetricsSystem就可以做的更标准化些，具体方式如下：

Source 。数据来源。比如对应的有org.apache.spark.metrics.source.JvmSource
Sink。 数据发送到哪去。有被动和主动。一般主动的是通过定时器来完成输出，譬如CSVSink，被动的如MetricsServlet等需要被用户主动调用。
桥接Source 和Sink的则是MetricRegistry了。

Spark 并没有实现底层Metrics的功能，而是使用了一个第三方库：http://metrics.codahale.com 。感兴趣大家可以看看，有个更完整的认识。

3。如何配置MetricsSystem

MetricsSystem的配置有两种，第一种是 metrics.properties 配置文件的形态。第二种是通过spark conf完成，参数以spark.metrics.conf.开头 。

我这里简单介绍下第二种方式。

比如我想查看JVM的信息，包括GC和Memory的使用情况，则我通过类似

conf.set("spark.metrics.conf.drive
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
MetricSystem指标系统
qq_27639777的博客
04-14 1700
文章目录简介MetricsSystem的创建与启动加载配置文件注册Sources注册并启动Sinks给Sinks增加Jetty的ServletContextHandler 简介 MetricSystem通过一个特定的Instance创建，由sources和sinks组成，并周期性地将source中的指标数据推送到目标sink中去。MetricSystem使用codahale提供的第三方测量仓库Me...
Spark生态系统组件
02-01
那么Spark生态系统中有哪些组件你知道吗？下面让我们跟着本文一同了解下 这些不可或缺的组件。本文选自《图解Spark：核心技术与案例实战》。Spark生态系统以SparkCore为核心，能够读取传统文件（如文本文件）、HDFS...
spark MetricsSystem
houzhizhen的专栏
01-10 901
val metricsSystem = if (isDriver) { // Don't start metrics system right now for Driver. // We need to wait for the task scheduler to give us an app ID. // Then we can start the metri
Spark之MetricsSystem
u014733604的博客
02-12 400
1.看启动start方法，spark中有哪些类调用了MetricsSystem类的start方法   SparkEnv,Master,SparkContext,Worker,ExternalShuffleService,主要讲ExternalShuffleService   ExternalShuffleService:这个类的作用是提供一个服务来读取shuffle程序，可以防止executo...
Spark Metrics配置详解
笔尖的痕的专栏
03-13 3265
和Hadoop类似，在Spark中也存在很多的Metrics配置相关的参数，它是基于Coda Hale Metrics Library的可配置Metrics系统，我们可以通过配置文件进行配置，通过Spark的Metrics系统，我们可以把Spark Metrics的信息报告到各种各样的Sink，比如HTTP、JMX以及CSV文件。 　　Spark的Metrics系统目前支持以下的实例： 　
metrics小常识
热门推荐
tracymkgld的专栏
07-13 1万+
Metrics，我们听到的太多了，熟悉大数据系统的不可能没听说过metrics，当我们需要为某个系统某个服务做监控、做统计，就需要用到Metrics。 举个例子，一个图片压缩服务： 每秒钟的请求数是多少（TPS）？平均每个请求处理的时间？请求处理的最长耗时？等待处理的请求队列长度？ 又或者一个缓存服务： 缓存的命中率？平均查询缓存的时间？ 基本上每一个服务、应用都需要
MetricsSystem
chbxw
04-09 296
一、MetricsSystem初始化 在SparkEnv中初始化， Driver端的MetricsSystem不会立刻启动， 需要task scheduler提供一个app ID， executor端的立刻启动 val metricsSystem = if (isDriver) { //driver端立刻启动 // Don't start metrics s...
基于spark的电影点评系统
04-08
**基于Spark的电影点评系统详解** 本项目是一个大三下学期的课程设计，核心是利用Apache Spark构建一个电影点评系统，旨在对用户的行为数据进行分析，以便为用户提供个性化的电影推荐。Spark作为大数据处理框架，以...
Spark推荐系统源码.zip
06-19
Spark 推荐系统 技术栈 数据处理 Spark Core + Spark SQL + MongoDB 离线推荐 静态数据处理：Spark Core + Spark SQL 推荐服务：Spark Core + Spark MLlib 在线推荐 获取消息服务：Redis + Kafka 推荐服务：Spark ...
spark生态系统的学习
11-26
Spark生态系统的学习 Spark生态系统是大数据处理框架的重要组件之一，它包括了多种组件，如Spark Core、Spark SQL、MLlib、GraphX等。Spark是一种混合框架，既可以进行批处理，也可以进行流处理。Spark的构成主要...
spark-metrics:Spark指标相关的自定义类和接收器（例如Prometheus）
05-05
Apache Spark指标扩展 这是与ApacheSpark指标相关的自定义类（例如源，接收器）的存储库。 我们试图用Prometheus接收器扩展Spark Metrics子系统，但没有在上游合并。 为了支持其他人使用Prometheus，我们将接收器外部化并通过此存储库提供，因此无需构建Apache Spark fork。 有关我们如何使用此扩展和的Prometheus Sink的更多信息，请阅读以下文章：
深入理解Spark：核心思想与源码分析. 3.9　启动测量系统MetricsSystem
weixin_33757609的博客
05-02 130
3.9　启动测量系统MetricsSystem MetricsSystem使用codahale提供的第三方测量仓库Metrics，有关Metrics的具体信息可以参考附录D。MetricsSystem中有三个概念： Instance：指定了谁在使用测量系统； Source：指定了从哪里收集测量数据； Sink：指定了往哪里输出测量数据。 Spark按照I...
Spark Core源码精读计划#13：度量系统MetricsSystem的建立
LittleMagic's Blog
05-07 436
目录 前言 度量系统MetricsSystem类 实例化 类中的属性成员 注册度量来源 注册度量目的地 度量配置MetricsConfig类 初始化 设置默认配置及从文件加载配置 分拆各实例的配置 度量来源Source与目的地Sink Source实现类与示例 Sink实现类与示例 总结 前言 前文讲完序列化管理器SerializerManager和广...
MetricsSystemImpl.register
houzhizhen的专栏
09-18 570
DataNodeMetricsTake DataNodeMetrics as an example, the type of DefaultMetricsSystem.instance() is MetricsSystemImpl. public static DataNodeMetrics create(Configuration conf, String dnName) { Strin
Spark Metrics实现原理
半日闲的博客
05-03 1907
Spark 任务的Metrics 是通过Spark中的accumulator来辅助实现的。 accumulator 定义 // 1.1 定义 accumulator来收集 task 运行统计信息，包括 runTime,cpuTime,GCTime等 class TaskMetrics private[spark] () extends Serializable { // Each metri...
SPARK中metrics是怎么传递的
monkeyboy_tech的博客
12-12 925
在任务运行期间，利用heartbeat心跳来传递metrics在任务结束以后，利用任务结果的更新来传递metrics最终，都是通过sparkListener：SQLAppStatusListener和 AppStatusListener分别完成Spark UI状态的更新。
hadoop中的MetricsSystem类的含义
alain898的专栏
07-03 865
generateNewIdentifier()返回系统当前时间字符串，如"201307032019" metrics system ：度量系统，是用于计量某个事物的各个可测量属性的多个计量单元的集合。而在HADOOP中这个“事物”是指JVM。每一个JVM都有且仅有一个MetricsSystem的实例，就是DefaultMetricsSystem中的单例“INSTANCE”。而每一个JVM中都
Spark测量系统 MetricsSystem
u013597009的博客
12-30 2571
Spark测量系统，由指定的instance创建，由source、sink组成，周期性地从source获取指标然后发送到sink，其中instance、source、sink的概念如下： Instance：指定了谁在使用测量系统，在spark中有一些列如master、worker、executor、client driver这些角色，这些角色创建测量系统用于监控spark状态，目前在spark中
掌握Spark性能指标 —— spark-metrics库的深度解析与应用指南
最新发布
gitblog_00004的博客
06-14 412
掌握Spark性能指标 —— spark-metrics库的深度解析与应用指南 项目地址:https://gitcode.com/groupon/spark-metrics 项目简介 spark-metrics 是一个专门针对Apache Spark的扩展库，它使您能够利用Dropwizard/Codahale Metrics的强大功能，将应用程序中的指标数据聚合到所有executor中，为你的S...
spark生态系统包括
04-20
Spark生态系统是一个开源的大数据处理框架，它提供了一系列的工具和库，用于处理和分析大规模数据集。以下是Spark生态系统的一些核心组件和相关工具： 1. Apache Spark：Spark是一个快速、通用的大数据处理引擎，它支持分布式数据处理和分析。Spark提供了高级API（如Spark SQL、Spark Streaming、MLlib和GraphX）和低级API（如RDD）来处理结构化和非结构化数据。 2. Spark SQL：Spark SQL是Spark的模块之一，它提供了用于处理结构化数据的API。它支持SQL查询、DataFrame和DataSet API，并且可以与Hive集成，从而可以使用Hive的元数据和查询语言。 3. Spark Streaming：Spark Streaming是Spark的流处理模块，它可以实时处理数据流。它支持各种数据源（如Kafka、Flume和HDFS）和数据处理操作（如窗口操作和状态管理），使得实时数据处理变得简单而高效。 4. MLlib：MLlib是Spark的机器学习库，它提供了一系列常见的机器学习算法和工具。MLlib支持分类、回归、聚类、推荐和协同过滤等任务，并且可以与Spark的其他组件无缝集成。 5. GraphX：GraphX是Spark的图处理库，它提供了用于图计算和分析的API。GraphX支持图的创建、转换和操作，以及一些常见的图算法（如PageRank和连通性组件）。 6. SparkR：SparkR是Spark的R语言接口，它允许使用R语言进行数据处理和分析。SparkR提供了与Spark SQL和DataFrame API的集成，使得R用户可以利用Spark的分布式计算能力。 7. PySpark：PySpark是Spark的Python语言接口，它允许使用Python进行数据处理和分析。PySpark提供了与Spark SQL、DataFrame和MLlib的集成，使得Python用户可以方便地使用Spark进行大数据处理。 8. Spark Packages：Spark Packages是一个开放的社区生态系统，它提供了各种第三方库和工具的集成。通过Spark Packages，用户可以方便地扩展Spark的功能，例如添加新的数据源、算法或可视化工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值