pytorch中的Autograd(自动微分)

Autograd主要实现反向传播求导数，避免手动计算导数的复杂过程

1. autograd.Variable是Autograd中的核心类，它是Tensor的简单封装，并支持Tensor的所有操作。Tensor在被封装为Variable之后，可以调用它的 .backward()实现反向传播，自动计算所有梯度。

例如：

import torch as t
import numpy as np
from torch.autograd import Variable
x=Variable(t.ones(2,2),requires_grad=True)    #Variable对Tensor的封装
print(x)


#输出
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)

2. Variable主要包含三个属性：

• data :保存Variable所包含的Tensor
• grad：保存data的梯度，grad也是个Variable，而不是Tensor，它和data的形状一样
• grad_fn：指向一个Function对象，这个Function对象用来反向转播计算输入的梯度

例如：

x=Variable(t.ones(2,2),requires_grad=True)
# print(x)
y=x.sum()

y.backward()    #反向传播，计算梯度
print(x.grad)   #得到x的梯度，    注意：grad在反向传播过程中是可以累积的，
                # 所以在反向传播之前最好先把梯度清零

y.backward()    #反向传播，计算梯度
print('第二次反向传播计算的梯度：',x.grad)

x.grad.data.zero_()  #反向传播前，梯度置零//或者调用 x.grad.zero_()
y.backward()
print('第三次反向传播计算的梯度：',x.grad)

#输出
tensor([[1., 1.],
        [1., 1.]])
第二次反向传播计算的梯度： tensor([[2., 2.],
        [2., 2.]])
第三次反向传播计算的梯度： tensor([[1., 1.],
        [1., 1.]])

3. Variable和Tensor之间的无缝切换

例如：

import torch as t
from torch.autograd import Variable

x=Variable(t.ones(2,3))
y=t.cos(x)  #这里是有一个将Variable切换到Tensor的过程
x_tensor_cos=t.cos(x.data)  #计算Tensor类型的数据

print(y)
print(x_tensor_cos)

#结果
tensor([[0.5403, 0.5403, 0.5403],
        [0.5403, 0.5403, 0.5403]])
tensor([[0.5403, 0.5403, 0.5403],
        [0.5403, 0.5403, 0.5403]])

可以看出，用同样的算式计算不同类型的数据，结果是一样的。