spark shuffle Read fetch过来的数据以ManagedBuffer形式存在时,该底层数据时在堆外内存中还是文件中,是否受memorymanager管理

请教个问题,在shuffle 刚从远程节点抓取过来的数据是放在对外内存的吗,是不是不属于memorymanage管理的?还有就是万一某个map输出的结果很大,那netty抓取过来 后放在内存中岂不是很容oom,netty内部会将其写到磁盘中吗,希望指点一二,困扰很久了,netty不咋懂
阅读更多
上一篇ok6410 中qt4.4.3的移植过程中一些问题及解决方案
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭