Spark : ContextCleaner清理器

最新推荐文章于 2022-07-05 15:20:56 发布
最新推荐文章于 2022-07-05 15:20:56 发布
阅读量4.7k 收藏 1
点赞数
分类专栏： 大数据-spark 文章标签： spark Context Cleaner 清理器
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/78826589
版权
大数据-spark 专栏收录该内容
204 篇文章 480 订阅 ¥49.90 ¥99.00
订阅专栏
Spark运行过程中会产生大量临时文件和数据，如未清理可能导致集群崩溃。ContextCleaner在SparkContext初始化时开启，负责清理RDD、shuffle、Broadcast、累加器和检查点等。清理线程收集待删数据的引用，通过System.gc()进行垃圾回收。在应用结束时调用Stop()方法关闭。
摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

Spark运行的时候，会产生一堆临时文件，临时数据，比如持久化的RDD数据在磁盘上，没有持久化的在内存中，比如shuffle的临时数据等，如果每次运行完，或者没有运行完杀掉了，不清理，会产生大量的无用数据，最终造成大数据集群崩溃而死。

2. 初始化

ContextCleaner的初始化是在SparkContext中初始化的，这个功能默认是必须开
启的。

  _cleaner =
      if (_conf.
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
spark源码分析-ContextCleaner缓存清理
Shie_3的博客
07-15 1966
ContextCleaner是用于清理spark执行过程中内存，主要用于清理任务执行过程中生成的缓存RDD、Broadcast、Accumulator、Shuffle数据，防止造成内存压力。 ContextCleaner会在SparkContext创建过程中，被实例化： _cleaner = if (_conf.getBoolean("spark.cleaner.referen...
Spark2.1.0——ContextCleaner的工作原理分析
beliefer的博客
12-17 6798
ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。 创建ContextCleaner 创建ContextCleaner的代码如下。 _cleaner = if (_conf....
spark的ContextCleaner清理
不说话装高手
04-27 1940
ContextCleaner是Spark中用来清理无用rdd，broadcast等数据的清理器，其主要用到的是java的weakReference弱引用来达成清理无用数据的目的。 ContextCleaner主要由两个线程两个集合组成。 private val referenceBuffer = Collections.newSetFromMap[CleanupTaskWeakRe...
spark学习：ContextCleaner清理器
hellozhxy的博客
01-16 3264
Spark运行的时候，会产生一堆临时文件，临时数据，比如持久化的RDD数据在磁盘上，没有持久化的在内存中，比如shuffle的临时数据等，如果每次运行完，或者没有运行完杀掉了，不清理，会产生大量的无用数据，最终造成大数据集群崩溃而死。 初始化 ContextCleaner的初始化是在SparkContext中初始化的，这个功能默认是必须开  启的。   _cleaner =       if ...
spark core 2.0 ContextCleaner
houzhizhen的专栏
01-11 795
CleanupTaskWeakReference是整个cleanup的核心，这是一个普通类，有三个成员，并且继承WeakReference。referent是一个weak reference，当指向的对象被gc时，把CleanupTaskWeakReference放到队列里，详情见：java WeekReference ReferenceQueue测试 /** * A WeakRe
SparkContext的初始化（季篇）——测量系统、ContextCleaner等组件介绍
beliefer的博客
03-08 1万+
Spark按照Instance的不同，区分为Master、Worker、Application、Driver和Executor。Spark目前提供的Sink有ConsoleSink、CsvSink、JmxSink、MetricsServlet、GraphiteSink等。Spark中使用MetricsServlet作为默认的Sink。MetricsSystem的启动代码如下。
ContextCleaner详解
qq_27639777的博客
04-19 1593
文章目录简介ContextCleaner类的组成实现ContextCleaner的创建ContextCleaner的启动ContextCleaner的关闭功能清理RDD清理shuffle清理Broadcast数据清理Accumulator数据清理检查点数据 简介 ContextCleaner用于清理任务执行过程中生成的超出应用范围的RDD、Shuffle、Broadcast、Accumulato...
山东大学软件工程应用与实践： Spark（十二） 代码分析
weixin_46794107的博客
12-22 1044
2021SC@SDUSC 目录 创建和启动ExecutorAllocationManager ContextCleaner的创建和启动 Spark环境更新 创建和启动ExecutorAllocationManager ExecutorAllocationManager用于对已分配的Executor进行管理，创建和启动ExecutorAllocationManager的代码如下： private[spark] val executorAllocationManager: Option[Ex
Spark问题11之广播失败
Keep Learning
03-06 6159
更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本：alluxio（tachyon） 0.7.1，spark-1.5.2,hadoop-2.6.01.问题描述运行是出现Error cleaning broadcast 72.运行记录：17/02/28 08:28:48 ERROR ContextCleaner: Er
Spark共享变量（Broadcast Variable和Accumulator）
sunhaoning的专栏
05-05 784
多个task想要共享某个变量，Spark为此提供了两个共享变量，一种是Broadcast Variable（广播变量），另一种是Accumulator（累加变量）。Broadcast Variable会将使用到的变量，仅仅为每个节点拷贝一份，更大的用处是优化性能，减少网络传输以及内存消耗。Accumulator则可以让多个task共同操作一份变量，主要可以进行累加操作。 Broadcas
异常 spark 运行 未解决
myrainblues的专栏
03-30 4481
3/user/BlockManagerActor1#-1503002418]] after [30000 ms]} 15/03/30 14:32:31 ERROR spark.ContextCleaner: Error cleaning broadcast 3 akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp:
事故指标统计
ZZJXP的博客
07-05 587
事故指标统计
第64课：SparkSQL下Parquet的数据切分和压缩内幕详解学习笔记
slq1023的博客
04-03 6630
第64课：SparkSQL下Parquet的数据切分和压缩内幕详解学习笔记 本期内容： 1  SparkSQL下Parquet数据切分 2  SparkSQL下的Parquet数据压缩   以Spark官网上的SparkSQL操作Parquet的实例进行讲解： Schema Merging Like ProtocolBuffer, Avro, and Thrift, Parquet
spark流处理 python_[spark][python]Spark map 处理
weixin_39705065的博客
12-17 247
map 就是对一个RDD的各个元素都施加处理，得到一个新的RDD 的过程[training@localhost ~]$ cat names.txtYear,First Name,County,Sex,Count2012,DOMINIC,CAYUGA,M,62012,ADDISON,ONONDAGA,F,142012,ADDISON,ONONDAGA,F,142012,JULIA,ONONDAGA,...
python使用spark-sql读取数据并可视化_[Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子：...
weixin_39727402的博客
12-18 369
[Spark][Python]Spark 访问 mysql , 生成 dataframe 的例子：mydf001=sqlContext.read.format("jdbc").option("url","jdbc:mysql://localhost/loudacre")\.option("dbtable","accounts").option("user","training").option("...
最近在SPARK上定位的几个内存泄露问题总结
qq_33160722的博客
01-05 7499
最近为了测试延云YDB在高并发请求和持续性请求情况下的表现，发现了spark的不少关于内存泄露的问题，这些问题均在延云YDB提供的SPARK版本中得以修正，现将问题总结如下。 1.    高并发情况下的内存泄露 很遗憾，spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 a)    在进行大量小SQL的压测过程
Spark累加器(Accumulator)陷阱及解决办法
热门推荐
偷闲小苑
03-25 1万+
程序中可能会使用到spark提供的累加器功能，可是如果你不了解它的运行机制，有时候会带来一些负面作用（错误的累加结果）。 下文会介绍产生错误结果的原因，并提供一种解决办法。 Accumulator简介Accumulator是spark提供的累加器，顾名思义，该变量只能够增加。 只有driver能获取到Accumulator的值（使用value方法），Task只能对其做增加操作（使用 +=
Apache Spark：大数据处理的加速器
"Spark：为大数据处理提供高效内存分析，显著提升处理速度，减轻磁盘写入，成为Hadoop的有力补充。Spark支持多种编程语言，如Scala、Java、Python，提供统一抽象层，便于开发数据应用程序。核心特性包括交互式工作、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值