关闭

spark shuffle Read fetch过来的数据以ManagedBuffer形式存在时,该底层数据时在堆外内存中还是文件中,是否受memorymanager管理

标签: sparkshufflefetchmemory
89人阅读 评论(0) 收藏 举报
分类:
请教个问题,在shuffle 刚从远程节点抓取过来的数据是放在对外内存的吗,是不是不属于memorymanage管理的?还有就是万一某个map输出的结果很大,那netty抓取过来 后放在内存中岂不是很容oom,netty内部会将其写到磁盘中吗,希望指点一二,困扰很久了,netty不咋懂
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1950次
    • 积分:47
    • 等级:
    • 排名:千里之外
    • 原创:3篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档