Spark的event事件监听器LiveListenerBus和特质SparkListenerBus以及特质ListenerBus

最新推荐文章于 2021-06-10 14:53:05 发布
最新推荐文章于 2021-06-10 14:53:05 发布
阅读量3.2k 收藏 4
点赞数 3
分类专栏： 大数据-spark 文章标签： spark ListenerBu Listener event 事件
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/78666141
版权
大数据-spark 专栏收录该内容
201 篇文章 476 订阅 ¥49.90 ¥99.00
订阅专栏

1.美图

在这里插入图片描述

2.概述

1。Spark 事件体系的中枢是ListenerBus，由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是MetricsSystem的信息来源之一。他们之间总体是一个互相补充的关系。

2。事件监听器LiveListenerBus是在SparkContext中创建的

// An asynchronous listener bus for Spark events
  // 一个Spark事件的异步监听总线
  private[spark] val listenerBus = new LiveListenerBus(
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark以及sparkstreaming核心原理及实践
02-24
spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一些自己的经验积累以及...
spark 自定义累加器与自定义事件
12-30 214
1 可以实现简单的累加器，功能是只保存最后一个字符串。 import org.apache.spark.util.AccumulatorV2; public class MyAccumulator extends AccumulatorV2<String, String> { private String str = ""; public MyAccumulat...
Spark History Server和Event Log详解
littlePYR的博客
03-03 3544
这篇文章会overall的介绍一下Spark History Server的实现原理。Spark History Server(以下简称SHS)是一个用来debug 你的Spark applications的非常有用的工具。我相信认熟悉Spark的对它都并不陌生。SHS是根据通过持久化application的运行过程中的所有events，通常是将定义的event写到一个HDFS的文件，这个文件就叫...
Spark-Listener(事件驱动的异步化编程框架)
04-11 1807
事件驱动的异步化编程事件驱动的异步化编程EventListenerListenerBus 事件驱动的异步化编程 我们以前经常看到基于事件的监控，基于事件的数据采集等等，Spark-Core内部的事件框架实现了 基于事件的异步化编程模式。它的最大好处是可以提升应用程序对物理资源的充分利用，能最大限度的压榨物理资源，提升应用程序的处理效率。缺点比较明显，降低了应用程序的可读性。Spark的基于事件...
【Spark】Spark 事件总线
w1992wishes的博客
10-28 1203
本篇结构： 事件总线介绍 ListenerBus 继承体系 LiveListenerBus 详解 流程总结 一、事件总线介绍 Spark 定义了一个特质 ListenerBus，可以接受事件并且将事件提交到对应事件的监听器。 该特征主要有一个 listeners 成员，用于维护所有注册的监听器，其数据结构是一个线程安全的 CopyOnWriteArrayList[L]。 该特征还有几个主要的函...
spark-listener详解
justorderman的博客
06-10 2201
注：不同spark版本源码可能不一样，本机spark版本是3.0.1 SparkListener Spark中的事件监听机制，本质上其实就是观察者模式的实现，查看源码我们可以经常看到listener这种命名的类或对象，顾名思义，这就是监听器类或对象。下面就以SparkListener为例来解析事件监听是如何设计的。首先我们看SparkListener */*** ** :: DeveloperApi ::* ** A* *default* *implementation* *for* `*SparkLi
sparklistener使用
lk2015的博客
03-30 1229
一、SparkListener spark 提供了一系列整个任务生命周期中各个阶段变化的事件监听机制，通过这一机制可以在任务的各个阶段做一些自定义的各种动作，SparkListener便是这些阶段的事件监听接口类，实现这个类中的各种方法便可实现自定义的事件处理。 搬砖中需要对数据量进行统计，依赖spark监听器完成，对每个action算子的job进行监听，数据量依赖dataframe持久化与累加器完成。 二、主要方法 实现该类的一些方法 package org.apache.spark.scheduler
Spark 异常总结及解决办法
热门推荐
主要分享大数据相关的知识，如Spark、Hudi
02-28 1万+
我的原创地址：https://dongkelun.com/2019/01/09/sparkExceptions/ 前言 总结Spark开发中遇到的异常及解决办法，之前也写过几篇，之所以不再一个异常写一篇博客，是因为现在Spark用的比较熟悉了一些，觉得没必要把异常信息写那么详细了，所以就把异常总结在一篇博客里了，这样既能备忘也方便查找。 1、之前的几篇 spark-submit报错:Excep......
# Spark Streaming + Event Hubs Integration Guide.md.pdf
08-04
Event Hubs为微软大数据组件，本文档为利用spark Streaming 连接Event Hubs的用户手册
Spark：用Scala和Java实现WordCount
03-03
用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPARK_HOME/examples/src/main/java/org/apache/spark/examples/JavaWordCount.java）OS:RedHatEnterpriseLinuxServerrelease6.4...
SparkApp自动化分析和故障诊断
02-25
苏宁大数据平台的计算引擎主要包括三个组成部分：离线计算、流式计算、OLAP引擎。...从今年年初开始，我们开始逐步去强化Flink在我们架构中的位置，我们希望利用Flink的强大窗口计算以及EventTime的处理
Spark Core源码精读计划#6：AsyncEventQueue与LiveListenerBus
LittleMagic's Blog
03-31 504
目录 前言 异步事件队列AsyncEventQueue eventQueue、eventCount属性 droppedEventsCounter、lastReportTimestamp、logDroppedEvent属性 started、stopped属性 dispatchThread属性 dispatch()方法 post()方法 异步事件总线LiveListene...
Spark问题5之ERROR LiveListenerBus SparkListenerBus has already stopped
Keep Learning
03-06 1万+
更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本：alluxio（tachyon） 0.7.1，spark-1.5.2,hadoop-2.6.01.问题描述1.1 描述将uniref按照序列长度[0,100).[100,)…进行划分，然后使用sparkSW从HDFS和Alluxio分别读取，并进行性能分析运行过程中
spark监控
阿华田的博客
12-19 567
简介 spark提供了一系列整个任务生命周期中各个阶段变化的事件监听机制 通过这一机制可以在任务的各个阶段做一些自定义的各种动作， SparkListener与StreamingListener（StreamingListener是对SparkStream进行监控）便是这些阶段的事件监听接口类 通过实现这个类中的各种方法便可实现自定义的事件处理动作。 SparkList...
深入理解Spark之ListenerBus监听器
光与热的博客
11-02 1986
ListenerBus对消费队列的实现 上图为LiveListenerBus类的申明 self => 这句相当于给this起了一个别名为selfLiveListenerBus负责将SparkListenerEvents异步发送过已经注册过的SparkListeners,在SparkContext中，首先会创建LiveListenerBus实例，这个类的功能是 保存有消息队列负责消息的缓存 保存有
SparkListener获取Spark作业的appId不生效
吟啸徐行
03-21 1856
可以通过对SparkContext添加监听器实现监听作业的AppId信息： val conf = new SparkConf().setAppName("wc")//.setMaster("local[*]") //.setMaster("local[*]") val sc = new SparkContext(conf) val listener = n
Spark-1.6.0之Application运行信息记录器JobProgressListener
weixin_30500289的博客
07-05 165
　　JobProgressListener类是Spark的ListenerBus中一个很重要的监听器，可以用于记录Spark任务的Job和Stage等信息，比如在Spark UI页面上Job和Stage运行状况以及运行进度的显示等数据，就是从JobProgressListener中获得的。另外，SparkStatusTracker也会从JobProgressListener中获...
spark学习-58-Spark的EventLoggingListener
九师兄
07-04 1493
1。本次调试查看源代码采用 spark学习-57-Spark下Scala版HBase下的根据权重获取最真实数据http://blog.csdn.net/qq_21383435/article/details/78772206里面的代码，略微修改了 只是修改了sparkSession的创建，代码如下，着这里启动了eventLog System.setProperty("hadoop.home.di
Spark中的事件处理分析
u013494310的专栏
05-18 1479
一.当初始化SparkContext时，需要初始化Spark Env需要接受3个参数 _env = createSparkEnv(_conf, isLocal, listenerBus)上文listenerBus实例是LiveListenerBus同时继承自AsynchronousListenerBus和SparkListenerBus，都属于ListenerBus的子类A.关于Listen
请阐述Spark如何使用事件时间和水印来处理迟到数据。
最新发布
05-30
在 Spark Structured Streaming 中，事件时间（Event Time）和水印（Watermark）可以用来处理迟到数据。具体的处理过程如下： 1. 事件时间：Spark Structured Streaming 可以从数据源中获取到每个事件的时间戳，这...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值