Spark的event事件监听器LiveListenerBus和特质SparkListenerBus以及特质ListenerBus

最新推荐文章于 2024-07-10 11:39:04 发布

九师兄

最新推荐文章于 2024-07-10 11:39:04 发布

阅读量3.2k

点赞数 3

分类专栏：大数据-spark 文章标签： spark ListenerBu Listener event 事件

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78666141

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了Spark的事件监听体系，重点讨论了ListenerBus特质、LiveListenerBus以及它们之间的关系。LiveListenerBus作为SparkContext中的默认实现，使用队列和生产者-消费者模式处理事件。事件的添加、删除以及调度机制被详细阐述，同时提到了SparkListenerBus的事件分发策略。

摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

2.概述

1。Spark 事件体系的中枢是ListenerBus，由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是MetricsSystem的信息来源之一。他们之间总体是一个互相补充的关系。

2。事件监听器LiveListenerBus是在SparkContext中创建的

// An asynchronous listener bus for Spark events
  // 一个Spark事件的异步监听总线
  private[spark] val listenerBus = new

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Spark面试问题总结

weixin_41367158的博客

03-07

387

在Spark中有两类task，一类是shuffleMapTask，一类是resultTask，第一类task的输出是shuffle所需数据，第二类task的输出是result，stage的划分也以此为依据，shuffle之前的所有变换是一个stage，shuffle之后的操作是另一个stage。但是这里必须要注意的是，在实际的生产环境中，恐怕能够直接用这种策略的场景还是有限的，如果RDD中数据比较多时（比如几十亿），直接用这种持久化级别，会导致JVM的OOM内存溢出异常。如果提交失败了，它将会重试；

深入理解Spark远程通信组件RPC及消息处理机制

鄙人王道长的博客

07-15

815

1.简介在Spark中，不同组件像driver，executor，worker，master（stanalone模式）之间的通信是基于RPC来实现的。Spark 1.6之前，Spark的RPC是基于Akka来实现的。Akka是一个基于scala语言的异步的消息框架。Spark1.6后，spark借鉴Akka的设计自己实现了一个基于Netty的rpc框架。本文主要对spark1.6之后基于nett...

参与评论您还未登录，请先登录后发表或查看评论

spark如何解决文件不存在_SparkContext错误 - 找不到文件/ tmp/spark-events不存在

weixin_39953481的博客

12-22

1161

通过API调用运行Python Spark应用程序 - 提交应用程序 - 响应 - SSH失败进入Worker我的python应用程序存在于/root/spark/work/driver-id/wordcount.py可以在中找到错误/root/spark/work/driver-id/stderr显示以下错误 -Traceback (most recent call last):File "/...

Spark-Listener(事件驱动的异步化编程框架)

04-11

1884

事件驱动的异步化编程事件驱动的异步化编程EventListenerListenerBus 事件驱动的异步化编程我们以前经常看到基于事件的监控，基于事件的数据采集等等，Spark-Core内部的事件框架实现了基于事件的异步化编程模式。它的最大好处是可以提升应用程序对物理资源的充分利用，能最大限度的压榨物理资源，提升应用程序的处理效率。缺点比较明显，降低了应用程序的可读性。Spark的基于事件...

Spark-事件及度量

最新发布

weixin_37990260的博客

07-10

963

当有事件需要通知监听器的时候，可以调用 ListenerBus 的 postToAII 方法，postToAlI 方法遍历所有监听器并调用 SparkListenerBus 实现的 doPostEvent 方法，doPostEvent 方法对事件类型进行匹配后调用监听器的不同方法。整个投递事件的过程是通过方法调用实现的，所以这是一个。在监听器比较多的时候，这个过程会相对比较耗时，在 SparkUI 中为了达到页面的即时刷新，实现了SparkListenerBus 的子类 LiveListenerBus。

自定义 Spark application 监听器进行task异常处理 JAVA版

CODE男孩的博客

02-15

1430

最近要截取sparkHistory里面application的运行日志，发现task级别的某些日志拿不到，后来想了个办法搞监听器，然后一点点学习，将经验记录下来。在spark程序中，task有失败重试机制（根据 spark.task.maxFailures 配置，默认是4次），当task执行失败时，并不会直接导致整个应用程序down掉，只有在重试了 spark.task.maxFailures ...

Spark学习-事件日志EventLog

迷思

12-08

3408

事件日志EventLog背景背景

Spark中的事件处理分析

u013494310的专栏

05-18

1488

一.当初始化SparkContext时，需要初始化Spark Env需要接受3个参数 _env = createSparkEnv(_conf, isLocal, listenerBus)上文listenerBus实例是LiveListenerBus同时继承自AsynchronousListenerBus和SparkListenerBus，都属于ListenerBus的子类A.关于Listen

Spark2.1.0事件总线分析——SparkListenerBus详解

beliefer的博客

09-18

2285

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》和《Spark2.1.0事件总线分析——ListenerBus的继承体系》。有了《Spark2.1.0之源码分析——事件总线》文中对ListenerBus的定义及《Spark2.1.0事件总线分析——ListenerBus的继承体系》文中对ListenerBus类继承体系的介绍，本小节将详细介绍Sp...

spark 2.4.0源码分析--(一)事件总线LiveListenerBus

LS_ice的专栏

09-28

1499

spark事件总线的核心是LiveListenerBus，其内部维护了多个AsyncEventQueue队列用于存储和分发SparkListenerEvent事件。 spark事件总线整体思想是生产消费者模式，消息事件实现了先进先出和异步投递，同时将事件的产生(例如spark core创建stage、提交job)和事件的处理(例如在Spark UI显示任务信息)分离，在一定程度上提升了系统的异步...

Spark Streaming 运行日志、任务监控 Web UI 、Kafka 、Listener 邮件短信通知

u013939918的博客

07-25

1195

任务监控一、 Spark Web UI 对于 Spark Streaming 任务的监控可以直观的通过 Spark Web UI ，该页面包括 Input Rate, Scheduling Delay、Processing Time 等，但是这种方法运维成本较高，需要人工不间断的巡视。这其中包括接受的记录数量，每一个batch内处理的记录数，处理时间，以及总共消耗的时间。在上述参数之中最重要的两个参数分别是Porcessing Time 以及 Scheduling Delay Porc...

SparkContext Error File not found /tmp/spark-events does not exist

Gamedev

02-10

4274

[Error] SparkContext Error - File not found /tmp/spark-events does not exist 在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。 mkdir /tmp/spark-events rsync -a /tmp/spark-events {slaves}:/tmp/spar...

spark 运行 File file:/tmp/spark-events does not exist

Always on the road

04-08

6262

在/tmp/下创建spark-events文件夹即可

Spark ListenerBus 和 MetricsSystem 体系分析

weixin_34405925的博客

09-08

前言监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSystem 来完成的。这篇文章重点分析他们之间的工作机制以及如何通过这两个系统完成更多的指标收集。 ListenerBus 是如何工作的 Spark的事件体系是如何工作的呢？我们先简要描述下，让大家有个大概的了解。首先，大部分类都会引入...

spark 2.0 SparkListener 继承关系

houzhizhen的专栏

01-09

1732

SparkListener的最上层接口是SparkListenerInterface，是一个Spark调度器的事件的处理接口，大多数程序不直接实现这个接口，而应该直接扩展SparkListener或者SparkFirehoseLIstener。 /** * Interface for listening to events from the Spark scheduler. Most ap

死磕Spark事件总线——聊聊Spark中事件监听是如何实现的

该用户已成仙的博客

07-14

516

Spark中大量采用事件监听方式，实现driver端的组件之间的通信。本文就来解释一下Spark中事件监听是如何实现的观察者模式和监听器在设计模式中有一个观察者模式，该模式建立一种对象与对象之间的依赖关系，一个对象状态发生改变时立即通知其他对象，其他对象就据此作出相应的反应。其中发生改变的对象称之为观察目标（也有叫主题的），被通知的对象称之为观察者，可以有多个观察者注册到一个观察目标中，这些观察者之间没有联系，其数量可以根据需要增减。事件驱动的异步化编程 Spark-Core内部的事件框架

spark-listener详解

justorderman的博客

06-10

2398

注：不同spark版本源码可能不一样，本机spark版本是3.0.1 SparkListener Spark中的事件监听机制，本质上其实就是观察者模式的实现，查看源码我们可以经常看到listener这种命名的类或对象，顾名思义，这就是监听器类或对象。下面就以SparkListener为例来解析事件监听是如何设计的。首先我们看SparkListener */*** ** :: DeveloperApi ::* ** A* *default* *implementation* *for* `*SparkLi

Spark成长之路(5)-消息队列

doctorq

07-07

2010

参考文章:Spark分布式消息发送流程监听器模式 volatile 因为之前被这个消息队列坑过(stage夯住原因分析)，所以现在研究源码，先从它下手，解答一下我这么久的疑惑。继承关系ListenerBus->SparkListenerBus->LiveListenerBus。原始基类为ListenerBus。运用的设计模式为监听器模式。ListenerBusspark包中私有特质，继

Spark Core源码精读计划#6：AsyncEventQueue与LiveListenerBus

LittleMagic's Blog

03-31

538

目录前言异步事件队列AsyncEventQueue eventQueue、eventCount属性 droppedEventsCounter、lastReportTimestamp、logDroppedEvent属性 started、stopped属性 dispatchThread属性 dispatch()方法 post()方法异步事件总线LiveListene...