RuntimeError: CUDA error: an illegal memory access was encountered

前言

我在跑深度学习模型。其中卷积用CUDA写的。数据集是cifar10。在运行了1个epoch后，就报错：RuntimeError: CUDA error: an illegal memory access was encountered。这个错误是在调用loss.backward()方法时出现的。
在网上看了很多方法，有说改小batch_size的，有说让input_data和input_label都放在GPU上的，有说升级pytorch版本的,有说换GPU卡的…

解决办法

我在取数据进行训练时，先看看GPU内存和缓存的使用情况，具体是在出错的地方使用

print(torch.cuda.memory_allocated())
print(torch.cuda.memory_cached())

查看存储空间的使用情况。发现这两个值很接近。这说明内存被占用满了。但是我查看GPU的利用率，发现GPU的利用率才达到59%。
感觉挺玄乎的，我在调用loss.backward()前先使用torch.cuda.empty_cache()释放内存，把batch_size改小，就能运行了。
代码如下所示：

    for step, (x, y) in enumerate(train_loader):
        x = x.cuda()
        y = y.cuda()
        if step == 0:
            batch_size = len(y)
        optimizer.zero_grad()

        output = net(x)
        loss = loss_function(output, y).cuda()
        #####加上了代码######
        print(torch.cuda.memory_allocated())
        print(torch.cuda.memory_cached())
        torch.cuda.empty_cache()
        #####加上了代码######
        loss.backward()
        if args.trainspflag:
            UpdateBnFactor()

        optimizer.step()
        total_loss += (loss.item()/length)
        #####在一次epoch完后再释放一次内存####
        torch.cuda.empty_cache()
        ............

总结

玄乎！GPU内存利用率不高，但是就是说内存不够用。最开始我把batch_size调整为1，还是报同样的错！但是当我一边释放内存，一边改小batch_size后，又能用了。唉，我这个小白+菜鸟独闯CUDA编程，特别是涉及到内存管理上，真的是有N多坑要踩啊！