1、torch.autograd.backward
torch.autograd.backward(tensors,
grad_tensors=None,
retain_graph=None,
create_graph=False)
作用:自动求取梯度
tensors: 用于求导的张量,如loss, torch.autograd.backward(aa) == a.backward()
retain_graph: 保存计算图
create_graph: 创建导数计算图,用于高阶求导
grad_tensors: 多梯度权重
2、torch.autograd.grad
torch.autograd.grad(outputs,
inputs,
grad_outputs=None,
retain_graph=None,
create_graph=False)
功能: 求取梯度
outputs: 用于求导的张量,如loss
inputs: 需要梯度的张量
create_graph: 创建导数计算图,用于高阶求导
retain_graph: 保存计算图
grad_outputs: 多梯度权重