Presto之内存池管理

一. 前言

       在Presto 之GENERAL POOL & RESERVED POOL_王飞活的博客-CSDN博客 的文章中，我们介绍了在Presto中，内存分成了保留区和通用区两个内存池区进行管理。本文则主要介绍Presto是是如何实现内存池管理的。

二. Presto内存池大小控制管理

        Presto的内存管理主要是在MemoryPool类中实现的，当一个Operator需要申请内存使用时需要经过如下步骤：

1. 在Presto的Operator调度进程中，首先调用该Operator的isBlock接口检测该Operator是否处于阻塞状态。

2. Operator在isBlock中向MemoryPool申请内存，调用MemoryPool的reserve接口。

3. 在MemoryPool的reserve接口中，如果当前剩余的内存大于申请的内存，则返回NOT_BLOCKED，否则返回一个回调钩子ListenableFuture。核心代码如下所示：

    

4. 当有人释放内存的时候， 如果释放后剩余的内存值满足步骤3申请的内存值，Presto会将3的回调钩子设置为null，将Future设置为Done状态，核心代码如下所示：

    

5. Presto的Operator调度进程检测到检测到Future变成Not Block状态后，开始调度改Operator，否则将该Operator一直处于阻塞状态，直到有别的查询在上述4中释放了内存后，满足该Operator的内存使用需求，将Future设为Done状态后，再将该Operator重新调度运行。

          上述的流程实现了查询内存使用不会超出内存池的大小控制范围。

二. Presto内存申请

        Presto的内存池只控制了内存的使用量，但是并没有统一的内存申请控制。其实在Presto，最耗费内存的Page和Hash表等，都是以数组的形式存储的，也就是说直接向JVM申请内存，不经过内存池的控制。

三. 堆外内存

        Presto不会直接使用堆外内存进行数据存储，但是Presto使用的一些三方库，比如一些压缩解压缩等三方库等，会存在堆外内存的使用情况。