1.美图

2.MetricsSystem介绍
监控是一个大系统完成后最重要的一部分。MetricsSystem 比较好理解,一般是为了衡量系统的各种指标的度量系统。算是一个key-value形态的东西。举个比较简单的例子,我怎么把当前JVM相关信息展示出去呢?做法自然很多,通过MetricsSystem就可以做的更标准化些,具体方式如下:
Source 。数据来源。比如对应的有org.apache.spark.metrics.source.JvmSource
Sink。 数据发送到哪去。有被动和主动。一般主动的是通过定时器来完成输出,譬如CSVSink,被动的如MetricsServlet等需要被用户主动调用。
桥接Source 和Sink的则是MetricRegistry了。
Spark 并没有实现底层Metrics的功能,而是使用了一个第三方库:http://metrics.codahale.com 。感兴趣大家可以看看,有个更完整的认识。
3。如何配置MetricsSystem
MetricsSystem的配置有两种,第一种是 metrics.properties 配置文件的形态。第二种是通过spark conf完成,参数以spark.metrics.conf.开头 。
我这里简单介绍下第二种方式。
比如
本文介绍了Spark的MetricsSystem,它是衡量系统性能的关键组件。MetricsSystem包含Source、Sink和MetricRegistry,用于收集和展示JVM信息,如GC和内存使用。配置MetricsSystem可以通过metrics.properties文件或SparkConf,而默认的Sink是MetricsServlet。要创建自定义Source,需要实现MetricSet接口,并在MetricRegistry中注册。MetricsSystem在SparkEnv初始化时启动,通过registerSources和registerSinks进行Source和Sink的注册。
订阅专栏 解锁全文
413

被折叠的 条评论
为什么被折叠?



