niekaifei的博客

原创 模型整体的训练过程（假设model已经设计完成）

当我们用tensor.backward()就可以计算出当前tensor的计算图中包含的所有属性require_grad=True的tensor变量的梯度，并且这个梯度会保存到每个对应的tensor的grad属性当中。即用optimizer.zero_grad()函数会遍历模型的所有参数，通过p.grad.detach_()方法截断反向传播的梯度流，再通过p.grad.zero_()函数将每个参数的梯度值设为0，即上一次的梯度记录被清空。但是GPU的能力是有限的，举个例子，这是整个模型中某一个地方的计算。