Pytorch怎么实现反向传播（pytorch自动求微分的原理）

Tensor是PyTorch实现多维数组计算和自动微分的关键数据结构。

可以对Tensor进行各种数学运算

 

另一方面，当设置.requires_grad = True之后，在其上进行的各种操作就会被记录下来，用于后续的梯度计算，其内部实现机制被成为动态计算图

 

autograd机制能够记录作用于Tensor上的所有操作，生成一个动态计算图。图的叶子节点是输入的数据，根节点是输出的结果。当在根节点调用.backward()的时候就会从根到叶应用链式法则计算梯度。

 

backward函数本身没有返回值，它计算出来的梯度存放在叶子节点的grad属性中。PyTorch文档中提到，如果grad属性不为空，新计算出来的梯度值会直接加到旧值上面。
为什么不直接覆盖旧的结果呢？这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理方式使得backward不需要考虑之前有没有被计算过导数，只需要加上去就行了，这使得设计变得更简单。因此我们用户在反向传播之前，常常需要用zero_grad函数对导数手动清零，确保计算出来的是正确的结果。