3.4 autograd——自动求导系统

点击此处返回总目录         一、autograd -- 自动求导系统 介绍 我们知道深度学习模型的训练就是不断地更新权值。而权值的更新需要求解梯度。因此，梯度在模型训练中是至关重要的。 然而求解梯度是十分繁琐的。因此pytorch提供自动求导系统。   我们不需要手工计算梯度，只需要搭建好前向传播的计算图，然后根据pytorch中的autograd就可以得到所有张量的梯度。     二、常用方法 现在我们来学习一下autograd中的方法。   1. torch.autograd.backward(tensors, grad_tersors=None, retain_graph=None, create_graph=False) 自动求取梯度。 tensors                         #用于求导的张量，如loss grad_tersors                 #多梯度权重。当有多个loss要计算梯度的时候，就要通过这个来设置权重。【例3】