pytorch中Tensor.backward()当Tensor不为标量的情况

运行如下代码：

In [3]: import torch

In [4]: from torch.autograd import Variable

In [6]: x=Variable(torch.Tensor([2,3,4,5]),requires_grad=True)

In [7]: y=Variable(torch.zeros(3))

In [8]: y[0]=x[0]*x[1]

In [9]: y[1]=x[1]*x[2]

In [10]: y[2]=x[2]*x[3]

In [13]: y.backward(torch.ones(y.shape))

In [14]: x.grad
Out[14]: tensor([3., 6., 8., 4.])

把x.grad中元素称为$[grad\_x_0,grad\_x_1,grad\_x_2,grad\_x_3]$，把传入backward的Tensor称为$[w_0,w_1,w_2]$，在此处的例子中，$w$的所有元素均为1。我们可以得到下图：

也就是得到如下规律：

$grad\_x_i={\sum }_k{w}_k\frac{\partial y_k}{\partial x_i}$

原本的计算图见上图左侧。但是这个backward的过程，根据我对Auto Grad的理解，pytorch帮我们构建了下面的计算图，也就是对每个$y$乘以对应的$w$（可以理解为权重），然后将所有输出求和得到一个标量（这一步可以更细致地展开为多步加法），再如往常一样反向传播。