Spark2.1.0事件总线分析——ListenerBus的继承体系

最新推荐文章于 2022-05-05 19:35:29 发布
最新推荐文章于 2022-05-05 19:35:29 发布
阅读量1k 收藏 1
点赞数
分类专栏： 大数据 Spark Scala 深入理解Spark 文章标签： spark core 内核 事件 ListenerBus
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beliefer/article/details/82590427
版权

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》。

         通过阅读《Spark2.1.0之源码分析——事件总线》一文，理解了ListenerBus的定义后，本小节一起来看看有哪些类继承了它。ListenerBus的类继承体系如图1所示。

ListenerBus的类继承体系
图1  ListenerBus的类继承体系

 

从图1中可以看到有三种ListenerBus的具体实现，分别为：

  • SparkListenerBus：用于将SparkListenerEvent类型的事件投递到SparkListenerInterface类型的监听器；
  • StreamingQueryListenerBus：用于将StreamingQueryListener.Event类型的事件投递到StreamingQueryListener类型的监听器，此外还会将StreamingQueryListener.Event类型的事件交给S
最低0.47元/天 解锁文章
泰山不老生
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
死磕Spark事件总线——聊聊Spark中事件监听是如何实现的
该用户已成仙的博客
07-14 476
Spark中大量采用事件监听方式，实现driver端的组件之间的通信。本文就来解释一下Spark中事件监听是如何实现的 观察者模式和监听器 在设计模式中有一个观察者模式，该模式建立一种对象与对象之间的依赖关系，一个对象状态发生改变时立即通知其他对象，其他对象就据此作出相应的反应。其中发生改变的对象称之为观察目标（也有叫主题的），被通知的对象称之为观察者，可以有多个观察者注册到一个观察目标中，这些观察者之间没有联系，其数量可以根据需要增减。 事件驱动的异步化编程 Spark-Core内部的事件框架
spark-事件总线
sinat_26781639的博客
03-22 245
1、CopyOnWriteArrayList：java的一个集合 implements List, RandomAccess, Cloneable, java.io.Serializable，写入时复制。当线程读的时候不上锁，写的时候进行上锁一份复制副本，写入改副本写完替换就对象。在写的过程中其他进程读的就是老数据。 public boolean add(E e) { fi...
Spark事件总线
LINBE_blazers的博客
03-04 991
Spark定义了一个特质ListenerBus，可以接收事件并且将事件提交到对应事件的监听器，其代码如下： private[spark] trait ListenerBus[L <: AnyRef, E] extends Logging { private[spark] val listeners = new CopyOnWriteArrayList[L] final def a...
Spark2.1.0之源码分析——事件总线
beliefer的博客
09-03 4316
         Spark定义了一个特质[1]ListenerBus，可以接收事件并且将事件提交到对应事件的监听器。为了对ListenerBus有个直观的理解，我们先来看看它的代码实现，见代码清单1。 代码清单1        ListenerBus的定义 private[spark] trait ListenerBus[L <: AnyRef, E] extends Logging...
Spark事件总线接口ListenerBus
zg_hover的专栏
08-07 725
Spark事件总线接口ListenerBus介绍ListenerBus是事件总线接口。它是一个trait类，它定义了事件和处理事件的listener之间的接口。该接口主要包括以下函数： （1）添加listener （2）删除listener （3）给特定listener发送事件 （4）把事件发送给所有的listener （5）通过特定的类查找listener 它创建了一个线程安全的链表，
sparklistener使用
lk2015的博客
03-30 1258
一、SparkListener spark 提供了一系列整个任务生命周期中各个阶段变化的事件监听机制，通过这一机制可以在任务的各个阶段做一些自定义的各种动作，SparkListener便是这些阶段的事件监听接口类，实现这个类中的各种方法便可实现自定义的事件处理。 搬砖中需要对数据量进行统计，依赖spark监听器完成，对每个action算子的job进行监听，数据量依赖dataframe持久化与累加器完成。 二、主要方法 实现该类的一些方法 package org.apache.spark.scheduler
Spark-Listener(事件驱动的异步化编程框架)
04-11 1860
事件驱动的异步化编程事件驱动的异步化编程EventListenerListenerBus 事件驱动的异步化编程 我们以前经常看到基于事件的监控，基于事件的数据采集等等，Spark-Core内部的事件框架实现了 基于事件的异步化编程模式。它的最大好处是可以提升应用程序对物理资源的充分利用，能最大限度的压榨物理资源，提升应用程序的处理效率。缺点比较明显，降低了应用程序的可读性。Spark的基于事件...
spark-listener详解
justorderman的博客
06-10 2322
注：不同spark版本源码可能不一样，本机spark版本是3.0.1 SparkListener Spark中的事件监听机制，本质上其实就是观察者模式的实现，查看源码我们可以经常看到listener这种命名的类或对象，顾名思义，这就是监听器类或对象。下面就以SparkListener为例来解析事件监听是如何设计的。首先我们看SparkListener */*** ** :: DeveloperApi ::* ** A* *default* *implementation* *for* `*SparkLi
Spark Listener & Spark on Yarn
qq_45494908的博客
05-05 1021
作业运行中的监控也可以有API自己开发。 继承SparkListenerInterface，实现作业开始前、后等需要做的操作。 然后在SparkConf中set自定义的SparkListener监听器。 Spark on Yarn 可以 client提交yarn，可以spark集群提交yarn。 client模式提交的机器可以是集群外的。 集群内的话二者其实区别不大，但生产还是推荐cluster模式；自测可以client，方便查日志。 spark-shell与spark-submit 区别。
spark 架构_深入研究Spark内部和架构
cumi7754的博客
08-07 576
spark 架构by Jayvardhan Reddy 通过杰伊瓦尔丹·雷迪(Jayvardhan Reddy) 深入研究Spark内部和架构 (Deep-dive into Spark internals and architecture) Apache Spark is an open-source distributed general-purpose cluster-computing...
Spark-LiveListenerBus 消息总线 源码解析
01-07
Spark-LiveListenerBus 源码解析LiveListenerBusclass LiveListenerBusobject LiveListenerBusLiveListenerBusMetricsAsyncEventQueueclass AsyncEventQueueobject AsyncEventQueueSparkListenerBusListenerBusSparkContext 中LiveListenerBus的使用总结 LiveListenerBus 这个是Spark的 事件总线，定义了事件与监听器的映射关系，并不直接处理事件。而是把事件传递给专门的监听器处理。 c
spark 2.4.0源码分析--(一)事件总线LiveListenerBus
LS_ice的专栏
09-28 1152
spark事件总线的核心是LiveListenerBus，其内部维护了多个AsyncEventQueue队列用于存储和分发SparkListenerEvent事件。 spark事件总线整体思想是生产消费者模式，消息事件实现了先进先出和异步投递，同时将事件的产生(例如spark core创建stage、提交job)和事件的处理(例如在Spark UI显示任务信息)分离，在一定程度上提升了系统的异步...
spark core 2.0 LiveListenerBus
houzhizhen的专栏
12-30 952
在SparkContext中可以年到listenerBus的类型是LiveListenerBus // An asynchronous listener bus for Spark events private[spark] val listenerBus = new LiveListenerBus(this) LiveListenerBus以异步的方式把SparkListene
spark 源码分析之三 -- LiveListenerBus介绍
weixin_30457465的博客
07-01 109
LiveListenerBus 官方说明如下： Asynchronously passes SparkListenerEvents to registered SparkListeners. 即它的功能是异步地将SparkListenerEvent传递给已经注册的SparkListener，这种异步的机制是通过生产消费者模型来实现的。 首先，它定义了 4 个 消息堵塞队列，队列...
SparkStreaming案例:NetworkWordCount--spark如何使用ListenerBus实现类似js监听事件效果
luyllyl的博客
02-09 402
1， 还是从案例开始顺藤摸瓜object NetworkWordCount {   def main(args: Array[String]) {     if (args.length < 2) {       System.err.println("Usage: NetworkWordCount <hostname> <port>")       System.e...
spark的异步消息总线LiveListenBus
不说话装高手
04-26 542
LiveListenBus是spark提供的异步消息总线。 private val queues = new CopyOnWriteArrayList[AsyncEventQueue]() @volatile private[scheduler] var queuedEvents = new mutable.ListBuffer[SparkListenerEvent]() 在LiveLis...
Spark ListenerBus 和 MetricsSystem 体系分析
weixin_34405925的博客
09-08 73
前言 监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSystem 来完成的。这篇文章重点分析他们之间的工作机制以及如何通过这两个系统完成更多的指标收集。 ListenerBus 是如何工作的 Spark的事件体系是如何工作的呢？我们先简要描述下，让大家有个大概的了解。 首先，大部分类都会引入...
Spark2.1.0官方教程：理解与应用核心概念
Spark 2.1.0 是Apache Spark开源大数据处理框架的一个重要版本，它提供了高效且可扩展的大规模数据处理能力。Spark的设计理念是基于内存计算，通过弹性分布式数据集（RDDs）和共享变量来实现快速迭代计算。以下是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值