问题描述:RuntimeError: CUDA out of memory. Tried to allocate 4.69 GiB (GPU 0; 8.00 GiB total capacity; 5.21 GiB already allocated; 997.56 MiB free; 5.27 GiB reserved in total by PyTorch)
问题详情:在一次传入500多样本的时候,显示CUDA内存空间不足,主要在与于数据传入较大,在不能实际提升硬件的条件下可减少一次传入GPU的数据量,即减少batch size
解决方法:减小 batch size 的大小
其他可能的解决方法:
1)减小模型规模
2)测试新样本时使用 torch.no_grad()
等等
(仅供参考,不时补充)