Pytorch学习笔记3：反向传播算法

反向传播

之前提出的线性模型 = wx，如果以神经网络的视角代入来看，即x为输入层，w为权重，为输出层。在神经网络中，通常将w以及*计算的部分看作一个神经元(层)，而神经元的训练过程即为更新w的过程，其更新的情况依赖于loss对w的偏导而并非 对w的偏导。

                                                

计算图中的神经网络：

在计算图中，绿色的模块为计算模块，可以在计算过程中求导。