MONET-Pytorch模型降低3倍内存 | MEMORY OPTIMIZATION FOR DEEP NETWORKS

第一次见到这个领域的文章，Mark一下
论文地址：https://arxiv.org/pdf/2010.14501.pdf
Github地址：https://github.com/utsaslab/MONeT.

ABSTRACT：

深度学习正在缓慢但稳定地遇到内存瓶颈。 在过去五年中，顶级GPU的张量计算增加了32倍，而总可用内存仅增加了2.5倍。 由于训练大型网络需要更多的内存来存储中间输出，因此这阻止了研究人员探索更大的体系结构。 在本文中，我们介绍了MONET，这是一种自动框架，可将深度网络的内存占用量和计算开销最小化。 MONET共同优化了checkpointing计划和各种操作的实施。 MONET能够胜过所有先前的手动调整操作以及automated checkpointing。 对于各种PyTorch模型，MONET将总内存需求减少了3倍，而计算开销为9-16％。 对于相同的计算成本，MONET所需的内存比当前最新的自动checkpointing框架少1.2-1.8倍。

EXPERIMENTS：