pytorch 训练过程中缓存不断增大 and loss.backword()占用缓存过大

1. 模型训练过程中会保存一些数据或者loss等，如

out, loss = model(data)
total_loss += loss
result = out.last_hidden_state

这样的句子由于loss 和 out都还在cuda的缓存中，会造成模型在训练过程中占据的缓存不断增大。

修改成如下即可：

out, loss = model(data)
total_loss += loss.cpu().detach().numpy()
result = out.last_hidden_state.cpu().detach().numpy()

2. 此外，在训练过程中发现loss.backword() 会占据CUDA很大的memory，这可能是模型太过复杂，可以检查模型中是否有可以不用计算梯度的部分，如固定预训练模型

如果有可以通过torch.no_grad()使这一部分不计算梯度,从而使占用的缓存大幅减小

bert = BertModel.from_pretrained('bert_base_uncased')

def model(data):
    with torch.no_grad():
        output = bert(data)
    result = nn.leanear(output)