深度神经网络将requires_grad设为True梯度全为0，step()后还会更新梯度问题的原因

目录

问题

原因

解决方法

方法

结果

---

问题

偶然发现明明将网络中某一层requires_grad设置为True，在loss.backward()后该层的梯度并不为None，反而全是0，并且optimizer.step()前后参数被更新了。

原因

这是在需要多次使用backward(),step()时会出现的问题，当第一次调用loss.backward(retain_graph=True)时，保留了计算图，因此这个被冻住的层的梯度并不