【PyTorch】对验证集进行验证时，报错：Out of memory时的解决方法

训练数据训练过程中不会出现out of memory的，但是在验证的时候随着验证的进行 ，最终出现out of memory的。

对于测试时out of memory问题

在训练过程中由于loss.backward() 会将计算图的隐藏变量梯度清除，从而释放空间 而在测试的时候没有这一机制，因此有可能随着测试的进行 中间变量越来越多，从而导致out of memory的发生。

在torch.no_grad() 会影响pytorch的反向传播机制，在测试时因为确定不会使用到反向传播因此 这种模式可以帮助节省内存空间。
同理对于 torch.set_grad_enable(grad_mode)也是这样。

        with torch.no_grad():
            for val_x, val_y in validation_data:

                val_x, val_y = Variable(val_x), Variable(val_y)
                val_x = val_x.cuda()
                val_y = val_y.cuda()
                out = model(val_x)
                loss = criterion(out, val_y)
                val_loss += loss.item()
                acc = predict(out, val_y)
                val_acc += acc

            print('Validation Loss: %f, Accuracy: %f' %
                (val_loss / len(validation_data), (val_acc / len(validation_data))))