降低训练精度提高batch大小,512*512的图片在8G的显存上batch只能为1,2,使用了apex后可以增大到10。只支持pytorch。
官网地址:NVIDIA/apex
官方说支持Ubuntu系统,Windows只是实验性的,但是我在win10上也安装成功了。
前提
已安装好CUDA和CUDNN,且版本适配。
2.在安装前先检查一下,电脑的cuda版本和pytorch内的cuda版本是否一样,不一样的话就把低版本的进行升级。
# 查看电脑的cuda版本、
>> nvcc -V
# pytorch内的cuda版本
import torch
torch.version.cuda
安装
按照官网的命令输入即可
$ git clone https://github.com/NVIDIA/apex
$ cd apex
$ pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
如果报错出现什么pip 137..我不记得了
在保证cuda版本一致的前提下进入apex文件夹,使用命令:python setup.py install 即可安装成功
验证安装成功
from apex import amp
没有报错就是成功了。
Apex的使用
net = xxxNet()
net.cuda()
net.train()
para