小白学Pytorch系列-- torch.autograd API
torch.Autograd
提供了实现任意标量值函数的自动微分的类和函数。它只需要对现有代码进行最小的更改-你只需要声明张量s,它的梯度应该用requires grad=True关键字计算。到目前为止,我们只支持浮点张量类型(half, float, double和bfloat 16)和复杂张量类型(cfloat, cdouble)
的autograd
。
基本概念
Variable,Parameter和torch.tensor()
torch.nn.Parameter
(是Variable的子类)
如果在网络的训练过程中需要更新,就要定义为Parameter
, 类似为W(权重)和b(偏置)也都是Parameter
Variable
默认是不需要求梯度的,还需要手动设置参数 requires_grad=True
。Variable
因为要多次反向传播,那么在backward
的时候还要手动注明参数(),就非常麻烦。
Pytorch
主要通过引入nn.Parameter
类型的变量和optimizer
机制来解决了这个问题。Parameter
是Variable
的子类,本质上和后者一样,只不过parameter
默认是求梯度的,同时一个网络中的parameter
变量是可以通过 net.parameters()
来很方便地访问到的,只需将网络中所有需要训练更新的参数定义为Parameter
类型,再用以optimizer
,就能够完成所有参数的更新了,例如:optimizer = torch.optim.SGD(net.parameters(), lr=1e-1)
相同点
:torch.tensor()
、torch.autograd.Variable
和torch.nn.Parameter
基本一样。
前两者都可以设置requires_grad
参数,后者则直接默认requires_grad=True
。
三者都拥有.data
,.grad
,.grad_fn
等属性。
所以,只要requires_grad=True
,都可以计算梯度以及backward()
。
不同之处:
torch.nn.Parameter
,直接默认requires_grad=True
,在参数量大时更加方便。
反向传播
参考: https://blog.csdn.net/lj2048/article/details/113527400
实现autograd依赖于Variable和Function这两种数据类型。Variable是Tensor的外包装,Varibale和Tensor基本一致,区别在于多了下面几个属性。
variable
类型变量的data属性存储着Tensor数据,grad
属性存储关于该变量的导数,creator
是代表该变量的创造者。
Variable
和Function
它们是彼此不分开的,如下图所示,是数据向前传输和向后传输生成导数的过程。
如图,假设我们有一个输入变量input(数据类型为Variable),input是用户输入的,所以其创造者creator为null值,input经过第一个数据操作operation1(比如加减乘除运算)得到output1变量(数据类型仍为Variable),这个过程中会自动生成一个function1的变量(数据类型为Function的一个实例),而output1的创造者就是这个function1。随后,output1再经过一个数据操作生成output2,这个过程也会生成另外一个实例function2,output2的创造者creator为function2。
示例可以参考该Blog: 参考PyTorch教程之Autograd
目标张量一般都是标量,如我们经常使用的损失值Loss,一般都是一个标量。但也有非标量的情况,后面将介绍的Deep Dream的目标值就是一个含多个元素的张量。那如何对非标量进行反向传播呢?
PyTorch有个简单的规定,不让张量(Tensor)对张量求导,只允许标量对张量求导,
因此,如果目标张量对一个非标量调用backward()
,则需要传入一个gradient
参数,该参数也是张量,而且需要与调用backward()
的张量形状相同。
参考
https://zhuanlan.zhihu.com/p/321449610