昇思MindSpore打卡营 11号 -函数式自动微分 学习心得

简介

自动微分主要解决的问题是：

        将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程，大大降低了框架的使用门槛。

函数与计算

计算图

计算图是用图论语言表示数学函数的一种方式，也是深度学习框架表达神经网络模型的统一方法。

微分函数与梯度计算

通过调用mindspore.grad函数，来获得function的微分函数。 

Stop Gradient

通常情况下，求导时会求loss对参数的导数，因此函数的输出只有loss一项。当函数输出多项时，微分函数会求所有输出项对参数的导数。Stop Gradient可以实现对某个输出项的梯度截断，或消除某个Tensor对梯度的影响。

Auxiliary data

意为辅助数据，是函数除第一个输出项外的其他输出。