Pytorch学习笔记系列-Variable

回顾：在上一节中介绍了tensor的基本构造方法 ---> Pytorch学习笔记系列-Torch基本操作 本节将介绍 Variable

1 什么是Variable？

通过上一节的介绍我们知道了什么是tensor，tensor是torch计算的基本结构，就相当于在Numpy中计算需要使用array格式一样。

那么Variable到底是做什么的呢？我们知道torch库中提供了很多深度学习、神经网络的方法，那么当我们在神经网络节点中使用变量时的格式就是Variable格式。除了内部的参数外，Variable几乎和tensor是一致的。

Variable可以理解为盒子，盒子里包含了tensor及对它的操作，例如当tensor作为神经网络节点时计算它的梯度。Variable 存在于 torch.autograd库中，使用时可通过如下方式进行引用：

from torch.autograd import Variable

2 Variable基本使用方法 

首先我们创建两个变量，一个为tensor变量，一个为Variable变量，并将其输出

import torch
from torch.autograd import Variable

tensor = torch.FloatTensor([[1,2],[3,4]])           
variable = Variable(tensor)

 

 观察上图可以发现当未对Variable盒子中的tensor做任何操作时，输出的tensor与variable是一致的，Variable作为盒子的好处就是不仅可以封装数据，还可以封装对其的操作，在使用时直接由盒子中取相关的材料即可。

接下来同样创建上述两个变量，不同的是此次在Variable中添加参数  requires_grad

import torch
from torch.autograd import Variable

tensor = torch.FloatTensor([[1,2],[3,4]])           
variable = Variable(tensor,requires_grad=True)

 

 

本次运行结果与未添加参数有所不同，这一次的variable变量中封装了对tensor的操作，即自动求导操作。

---

接下来介绍自动求导是如何完成的。

import torch
from torch.autograd import Variable

tensor = torch.FloatTensor([[1,2],[3,4]])           
variable = Variable(tensor,requires_grad=True)
 
t_out = torch.mean(tensor*tensor)       
v_out = torch.mean(variable*variable)

在上述程序的基础上新定义了两个变量，变量的实际含义：通过torch的mean函数计算tensor*tensor的平均值，若tensor 记为 x，则tensor*tensor 为  。此处两个变量的计算输出相同：

 

v_out 变量为封装了自动求导操作的变量，也就是此时v_out中不仅存储了运算好的平均值，也存储了计算好的导数值，因此输出时并不完全相同。

那么接下来使用v_out 变量调用 backward() 方法将计算的导数值进行反向传播，并打印梯度值。

v_out.backward()    

print(variable.grad)

 

下面介绍梯度的由来，v_out 中计算的是 variable*variable的平均值，将variable*variable理解为，而二维张量乘法后的均值是每一个值的1/4，因此对variable的求导可以理解为 ，也就是，即为，因此计算出的梯度如上图所示结果。

附上完整代码：

import torch
from torch.autograd import Variable

tensor = torch.FloatTensor([[1,2],[3,4]])            
variable = Variable(tensor, requires_grad=True,)      

print(tensor)       
print(variable)     

t_out = torch.mean(tensor*tensor)       
v_out = torch.mean(variable*variable)   # x^2
print(t_out)
print(v_out)    # 7.5

v_out.backward()    # backpropagation from v_out

print(variable.grad)

print(variable.data)    # 访问variable中的tensor

print(variable.data.numpy())    # variable中的tensor转换为numpy中的array