请教个问题,在shuffle 刚从远程节点抓取过来的数据是放在对外内存的吗,是不是不属于memorymanage管理的?还有就是万一某个map输出的结果很大,那netty抓取过来 后放在内存中岂不是很容oom,netty内部会将其写到磁盘中吗,希望指点一二,困扰很久了,netty不咋懂
spark shuffle Read fetch过来的数据以ManagedBuffer形式存在时,该底层数据时在堆外内存中还是文件中,是否受memorymanager管理
最新推荐文章于 2023-03-17 11:57:51 发布