gradient
在BP
的时候,pytorch
是将Variable
的梯度放在Variable
对象中的,我们随时都可以使用Variable.grad
得到对应Variable
的grad
。刚创建Variable
的时候,它的grad
属性是初始化为0.0
的。
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
Variable containing:
0
0
0
[torch.FloatTensor of size 3]
Variable containing:
0
0
0
[torch.FloatTensor of size 3]
从下面这两段代码可以看出,使用d.backward()
求Variable
的梯度的时候,Variable.grad
是累加的即:Variable.grad=Variable.grad+new_grad
- 1
- 2
- 3
- 1
- 2
- 3
Variable containing:
0.3333
0.3333
0.3333
[torch.FloatTensor of size 3]
- 1
- 2
- 1
- 2
Variable containing:
0.6667
0.6667
0.6667
[torch.FloatTensor of size 3]
既然累加的话,那我们如何置零呢?
- 1
- 2
- 1
- 2
Variable containing:
0
0
0
[torch.FloatTensor of size 3]
通过上面的方法,就可以将grad
置零。通过打印出来的信息可以看出,w1.grad
其实是Tensor
。现在可以更清楚的理解一下Variable
与Tensor
之间的关系,上篇博客已经说过,Variable
是Tensor
的一个wrapper
,那么到底是什么样的wrapper
呢?从目前的掌握的知识来看,一个是保存weights
的Tensor
,一个是保存grad
的Variable
。Variable
的一些运算,实际上就是里面的Tensor
的运算。
pytorch
中的所有运算都是基于Tensor
的,Variable
只是一个Wrapper
,Variable
的计算的实质就是里面的Tensor
在计算。Variable
默认代表的是里面存储的Tensor
(weights
)。理解到这,我们就可以对grad
进行随意操作了。
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
这里更新的时候为什么要用Tensor
更新,为什么不直接用Variable
?
Variable
更多是用在feedforward
中的,因为feedforward
是需要记住各个Tensor
之间联系的,这样,才能正确的bp
。Tensor
不会记录路径。而且,如果使用Variable
操作的话,就会造成循环图了(猜测)。
torch.optim
如果每个参数的更新都要w1.data.sub_(learning_rate*w1.grad.data)
,那就比较头疼了。还好,pytorch
为我们提供了torch.optim
包,这个包可以简化我们更新参数的操作。
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
注意:torch.optim
只用于更新参数,不care梯度的计算。
关于 backword()
backward(gradient=None, retain_variables=False)
参数:
gradient (Tensor) – Gradient of the differentiated function w.r.t. the data. Required only if the data has more than one element
- 1
- 1
上面代码应该怎么解释呢?