昇思25天学习打卡营第六天|函数式自动微分

       今天继续打卡，学习了第七课函数式自动微分。

        神经网络的训练主要使用反向传播算法，模型预测值与正确标签送入损失函数获得loss，然后进行反向传播计算，求得梯度。

        下面用一个简单的单层线形变化模型进行介绍。

 

      函数与计算图，计算图式用图论语言表示数学函数的一种方法，也是深度学习框架表达神经网络模型的统一方法。

       微分函数与梯度计算，为了优化模型参数，我们通常需要求参数对于loss的导数。

 

 

 

 

      神经网络梯度计算，由于我们的神经网络构造是继承自面对对象编程范式nn.Cell，接下来我们将使用Cell构造同样的神经网络，利用函数自动微分来实现反向传播。

 

 

 

     执行微分函数，可发现梯度值与前文function求得梯度值一致。