Pytorch学习笔记——tensor的各类操作及求梯度

创建tensor

torch.empty(),未初始化的Tensor
torch.rand(),随机初始化的Tensor(均匀分布)
torch.randn(),标准分布
torch.normal(),正态分布
torch.uniform(),均匀分布
torch.randperm(),随机排列
torch.zeros(),全零的Tensor
torch.ones(),全一的Tensor
torch.eye(),对角矩阵Tensor
torch.arange(),等差数列Tensor
torch.linspace(),等差数列Tensor
torch.tensor(),直接根据数据创建
torch.randn_like(),根据现有tensor的形状来创建

获取tensor的形状

x.size()
x.shape

对tensor的操作

• 加法：z=x+y;
  torch.add(x,y,output=z)
  y.add_(x)
• 索引：索引出来的结果与原数据共享内存，即修改一个，另一个也会跟着修改
  y=x[0,:]
  torch.index_select(x,dim=0,index=torch.tensor([0,1]))#选取第0行和第1行
  torch.masked_select(x,masked=)
  torch.non_zero(x)
  torch.gather(x,dim,index)
• 改变形状：
  x.view()#view返回的新tensor与原tensor共享内存(其实是同一个tensor),也即改变其中一个，另外一个也会跟着改变（view仅仅是改变了对这个张量的观察角度）。
  x.clone().view()#先克隆一个，即创造一个副本再使用view。
  x.item() #将一个标量tensor(一维tensor)转换成一个python number
• 线性代数：
  x.trace()#对角线元素之和
  x.diag()#对角线元素
  x.triu()/x.tril()#矩阵的上三角/下三角
  x.mm()#矩阵乘法
  x.bmm()#batch的矩阵乘法
  x.addmm()/x.addbmm()/x.addmv()/x.addr()/x.badbmm()#矩阵运算
  x.t#转置
  x.dot()/x.cross()#内积/外积
  x.inverse#求逆矩阵
  x.svd#奇异值分解

广播机制：

前面讲的加法和线性代数的函数都是对两个形状相同的tensor做按元素运算；当对两个形状不同的tensor按元素运算时，可能会触发广播机制：先适当复制元素，使两个tensor形状相同后再按元素运算。

运算中的内存问题：

索引和view是不会开辟新内存的；但是诸如y=x+y这样的运算会新开内存，然后将y指向新内存。这一点可以通过id函数得到验证。
如果想制定运算结果到原来的y内存，可以通过索引的方法实现：y[:] = y+x。还可以通过以下三种方法:

• torch.add(x,y,out=y);
• 2.y += x;
• 3.y.add_(x)

tensor和numpy相互转换：

• tensor转numpy: y = x.numpy()
  这种方法转换后，产生的numpy数组和tensor数组共享内存，改变其中一个时，另一个也会改变。
• numpy转tensor: y = torch.from_numpy(x)
  这种方法转换后，产生的tensor数组和numpy数组共享内存，改变其中一个时，另一个也会改变。
  所有在CPU上的tensor都支持与numpy数组相互转换

另一种转换的方法是y = torch.tensor(x),该方法将numpy数组进行了数据拷贝，返回的tensor和原来的numpy数组不再共享内存。
tensor on GPU:用to()可以将tensor在CPU和GPU之间相互移动

自动求梯度：

在深度学习中，我们经常需要对函数求梯度，Pytorch提供的autograd包能够根据输入和前向传播过程自动构建计算图，并执行反向传播。

autograd: tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此tensor的梯度将累积到.grad属性中。

如果不想要被继续追踪，可以调用.detach()将其从追踪记录中分离出来，这样就可以防止将来的计算被追踪，这样梯度就传不过去了。此外，还可以用with torch.no_grad()将不想被追踪的操作代码块包裹起来，这种方法在评估模型的时候很常用，因为在评估模型时，我们并不需要计算可训练参数(requires_grad=True)的梯度。

Function是另外一个很重要的类。tensor和function互相结合就可以构建一个记录有整个计算过程的有向无环图（DAG）。每个tensor都有一个.grad_fn属性，该属性就创建该tensor的function,其表征了tensor是否通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。不是通过运算得来的，而是直接创立的变量称为叶子节点，叶子节点对应的grad_fn是None: x.is_leaf #True

求梯度：

向量函数（运算出来的结果最终为一位数组，即向量）求导的结果是一个Jacobian矩阵；标量函数（运算出来的结果最终为一个数，即标量）求导的结果是一个与自变量同形的向量。在调用.backward()完成梯度计算时，如果最终求导的因变量是个标量，那么不需要为.backward传入任何参数；否则，需要传入一个与最终求导的因变量同形的张量tensor，这将会先对因变量进行加权求和变成标量，然后再进行.backward()。举个例子：假设tensor y由tensor x计算而来，那么进行求梯度计算时，需要定义一个权重tensor w，它和y同形，则y.backward(w)进行的就是：l = torch.sum(y*w), l.backward()。这样做可以使链式法则在进行矩阵乘法时，一直保持左乘矩阵和结果矩阵是一维的，保证了运算的可行性。

另一个需要注意的就是：tensor的.grad属性在反向传播过程中是累加的，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需要把梯度清零：x.grad.data.zero_()
此外，如果想要修改tensor的数值，但又不希望被autograd记录(即不会影响反向传播)，那么可以对tensor.data进行操作。