【深度学习】自动求导中有时为什么要先sum()再backward()

创作日志： 在看李沐学深度学习，“深度学习中，我们的目的不是计算微分矩阵，而是批量中每个样本单独计算的偏导数之和”，对这句话一知半解，自己动手推导一下。

---

一、理解

在深度学习中，被求导的对象（样本/输入）一般是多元的（向量x），绝大多数情况是标量y对向量x进行求导，很少向量y对向量x进行求导，否则就会得到复杂的微分矩阵（且torch无法直接处理这种操作，需要在backward()中添加gradient参数才能实现）。
所以经常把一个样本看做一个整体，它包含多个变量（属性），对其所有属性求导后再加和，就得到了这个样本的偏导数之和。因此当计算得到的y是一个关于x的向量的话，我们可以通过y.sum()操作将y标量化，再反向传播，得到标量对x的导数。

二、举例

import torch
x = torch.arange(4.0)
x.requires_grad_(True)
print(x)

第一种做法：在反向传播时添加gradient参数，一个长度和x一样的张量。

x.grad.zero_()
y = x*x   # x的点积
y.backward(gradient=torch.ones(len(x)))
print(x.grad)

第二种做法：先sum()再backward()，结果一样的。

x.grad.zero_()
y = x*x   # x的点积
y.sum().backward()
print(x.grad)

三、例子推导