节省显存新思路,在 PyTorch 里使用 2 bit 激活压缩训练神经网络(转载)
本文将介绍来自加州伯克利大学的 ActNN,一个基于 PyTorch 的激活压缩训练框架。在同样的内存限制下,ActNN 通过使用 2 bit 激活压缩,可以将 batch size 扩大 6-14 倍,将模型尺寸或者输入图片扩大 6-10 倍。ActNN 相关论文已被 ICML 2021 接收为 Long Talk,代码开源于 github。论文 https://arxiv.org/abs/2104.14129代码 https://github.com/ucbrise/actnn从 AlexNet,Res
原创
2022-06-16 09:45:04 ·
198 阅读 ·
0 评论