spark shuffle Read fetch过来的数据以ManagedBuffer形式存在时，该底层数据时在堆外内存中还是文件中，是否受memorymanager管理

最新推荐文章于 2023-03-17 11:57:51 发布

阿光365

最新推荐文章于 2023-03-17 11:57:51 发布

阅读量662

点赞数

分类专栏：大数据文章标签： spark shuffle fetch memory

本文链接：https://blog.csdn.net/youranda/article/details/52349900

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

请教个问题，在shuffle 刚从远程节点抓取过来的数据是放在对外内存的吗，是不是不属于memorymanage管理的？还有就是万一某个map输出的结果很大，那netty抓取过来后放在内存中岂不是很容oom，netty内部会将其写到磁盘中吗，希望指点一二，困扰很久了，netty不咋懂

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

阿光365

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Spark存储管理源码分析系列之BlockManage块读取分析

进击的数据小白

10-24

596

BlockManager会运行在Spark集群中的所有节点上，每个节点上的BlockManager通过MemoryManager、 MemoryStore、 DiskBlockManager、 DiskStore来管理其内存、磁盘中的块，并与其他节点进行块的交互。所以块的读和写入是其最主要的功能，接下来两节我们来分析下读取和写入的具体实现，本节我们先来聊聊读取块数据。块读取概述在BlockManager中提供了多种对块进行读写的方法，getOrElseUpdate将读写进行统一，块可以由RDD计算逻辑[

liujiesxs的博客

08-21

648

Spark性能调优

参与评论您还未登录，请先登录后发表或查看评论

spark 2.0 ManagedBuffer 和 FileSegmentManagedBuffer

houzhizhen的专栏

11-15

1299

ManagedBuffer以字节数组的方式提供数据，并且数据不能被修改。它的实现应该制定数据是怎么提供的。 ManagedBuffer有三种具体的实现 1. FileSegmentManagedBuffer：文件的一部分支持数据。 2. NioManagedBuffer: NIO ByteBuffer支持数据。 3. NettyManageBuffer: Netty

搞懂 Spark 系列之深入理解Spark内存管理

Faith_xzc

02-09

3822

本文详细介绍了Spark内存管理，包括Spark内存概述、内存管理机制及底层源码，欢迎交流讨论！

Swift中字典的实现原理

weixin_33836223的博客

01-03

802

本文翻译、整理自：Exploring Swift Dictionary's Implementation Swift中字典具有以下特点：字典由两种范型类型组成，分别是Key（必须实现Hashable协议）和Value 提供一组Key和Value，可以向字典中插入一条新的数据如果Key已经被插入字典，则可以通过Key获取到Value 可以通过Key删除一条字典中的数据每个Key对应，且唯一对...

Spark技术内幕：Shuffle Read的整体流程

weixin_34010949的博客

01-12

387

回忆一下，每个Stage的上边界，要么需要从外部存储读取数据，要么需要读取上一个Stage的输出；而下边界，要么是需要写入本地文件系统（需要Shuffle），以供childStage读取，要么是最后一个Stage，需要输出结果。这里的Stage，在运行时的时候就是可以以pipeline的方式运行的一组Task，除了最后一个Stage对应的是ResultT...

Spark Shuffle模块详解

最新发布

晓晓的天空

03-17

1252

Spark Shuffle模块详解

Spark部分的调优（代码调优，内存优化，调节Executor的堆外内存，shuffle调优，解决数据倾斜，Spark故障解决）【原理及方法介绍】

wyqwilliam的博客

08-02

2402

shuffle调优中调节参数的几种方式：配置这些参数有两种方式 1. 在程序中硬编码例如 sparkConf.set("spark.shuffle.file.buffer","64k") 2. 提交 application 时在命令行指定例如 spark-submit --conf spark.shuffle.file.buffer=64k --conf 配置信息=配置值 ... ...

Spark Shuffle FetchFailedException 内存溢出源码级分析解决

Jax的博客

06-18

4325

某日遇到一个数据倾斜的SQL, 首先想到的方法就是加大Partition 看看数据hash 之后会不会落得均匀,所以就将spark.sql.shuffle.partitions从原来的500 加大到2700 . 结果反而失败了, 错误如下: FetchFailed(BlockManagerId(516, nfjd-hadoop02-node352.jpushoa.com, 7337, None), shuffleId=3, mapId=59, reduceId=917, message= org.apac

大数据：Spark Shuffle（三）Executor是如何fetch shuffle的数据文件

沧海一粟

05-09

4475

1. 前言在前面的博客中讨论了Executor, Driver之间如何汇报Executor生成的Shuffle的数据文件，以及Executor获取到Shuffle的数据文件的分布，那么Executor是如何获取到Shuffle的数据文件进行Action的算子的计算呢？在ResultTask中，Executor通过MapOutPutTracker向Driver获取了ShuffID的Shuffle数据

超全spark性能优化总结

journey_fan的专栏

02-22

1716

Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。一、常用参数说明 --driver-memory 4g : driver内存大小，一般没有广播变量(broadcast)时，设置4g足够，如果有广播变量，视情况而定，可设置6G，8G，12G等均可 --executor-memory 4g : 每个executor的内存...

Spark源码解析——Shuffle

芒果先生Mango的专栏

01-06

2411

Background 在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop MapR

深入理解Spark 2.1 Core （十一）：Shuffle Reduce 端的原理与源码分析

02-24

4078

http://blog.csdn.net/u011239443/article/details/56843264 在《深入理解Spark 2.1 Core （九）：迭代计算和Shuffle的原理与源码分析》我们讲解了，以传统Hadoop MapReduce类似的从HDFS中读取数据，再到rdd.HadoopRDD.compute便可以调用函数f，即map中的函数的过程。在《深入理解Spark ...

Swift 原始指针

萌萌的啊

05-19

1009

UnsafePointer 常量, 原始指针 (C表达法 Type const*) UnsafePointer<U> 原始指针 (C表达法 Type *) UnsafeMutablePointer<U> init() 空参数 init(COpaquePointer) 不确定类型 init(UnsafeMutablePointer<>) 原始指针 init

spark2.3源码分析之server端处理拉取shuffle block请求的流程

lzf的博客

01-04

926

ExternalShuffleBlockHandler 概述服务端的RPC处理器，可以从executor进程的外部提供shuffle block。处理器注册executor，并且从executor打开shuffle block。shuffle block通过“一对一”策略注册，即传输层的chunk对应于spark应用层的block。成员变量 final ExternalShuff...

spark join shuffle 数据文件的读取

gaoshui87的专栏

10-19

599

spark join shuffle 数据文件的读取我们看下在shuffle过程中数据文件的读取过程中调用的类对象// 下面就是对这个shuffler中的分片数据进行读取并进行相关的aggregate操作了 val blockFetcherItr = new ShuffleBlockFetcherIterator( context, blockManager.shuffleClient,

Spark Shuffle 核心组件BlockStoreShuffleReader内核原理深入剖析-Spark商业环境实战

weixin_33711641的博客

11-08

266

本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark源码解读及商业实战指导，请持续关注本套博客。版权声明：本套Spark源码解读及商业实战归作者（秦凯新）所有，禁止转载，欢迎学习。 Spark商业环境实战-Spark内置框架rpc通讯机制及RpcEnv基础设施 Spark商业环境实战-Spark事件监听总线流程分析 Spark商业环境实战-Spark存储体系底层架构剖析 Spar...

Spark大数据处理中的数据倾斜优化与 Fetch 抓取策略

数据倾斜发生在分布式计算框架如Spark或Hadoop中，当数据分布不均匀，某个Partition的数据量远超过其他Partition时，会导致处理速度严重滞后，甚至可能导致内存溢出（Out Of Memory）问题，从而影响整个系统的稳定性...