一、autograd -- 自动求导系统 介绍 我们知道深度学习模型的训练就是不断地更新权值。而权值的更新需要求解梯度。因此,梯度在模型训练中是至关重要的。 然而求解梯度是十分繁琐的。因此pytorch提供自动求导系统。
我们不需要手工计算梯度,只需要搭建好前向传播的计算图,然后根据pytorch中的autograd就可以得到所有张量的梯度。
二、常用方法 现在我们来学习一下autograd中的方法。
1. torch.autograd.backward(tensors, grad_tersors=None, retain_graph=None, create_graph=False) 自动求取梯度。 tensors #用于求导的张量,如loss grad_tersors #多梯度权重。当有多个loss要计算梯度的时候,就要通过这个来设置权重。【例3】 |
3.4 autograd——自动求导系统
最新推荐文章于 2023-01-16 09:45:00 发布