代码
'''
在加入GRL(梯度反转层)时,想要查看梯度是否反转,
需要输出embedding z的梯度
此时直接用 z.grad 会输出None
'''
z = encoder(x)
# 在backward之前加一句
z.retain_grad()
loss.backward()
# 此时就可以查看encoder输出的梯度了
print(z.grad)
知识补充
第一个backward()之前所有的梯度都置为None,出于计算效率考虑,pytorch默认只保存模型参数的梯度,而不保存模型输入输出的梯度,因此如果要记录模型输出的梯度就需要用retain_grad()记录。
对于模型内部参数,梯度用torch.Tensor.requires_grad=True/False来控制。
参考:https://pytorch.org/docs/stable/autograd.html#torch.Tensor.retain_grad