学习笔记6
07-函数式自动微分
神经网络的训练主要使用反向传播算法,模型预测值(logits)与正确标签(label)送入损失函数(loss function)获得loss,然后进行反向传播计算,求得梯度(gradients),最终更新至模型参数(parameters)。自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算,对用户屏蔽了大量的求导细节和过程,大大降低了框架的使用门槛。MindSpore提供更接近于数学语义的自动微分接口grad和value_and_grad
函数计算图
微分函数与梯度计算
梯度截断
辅助数据输出
神经网络梯度计算