沐神深度学习笔记4

矩阵求导相关学习:

此处建议学习

矩阵求导的本质与分子布局、分母布局的本质（矩阵求导——本质篇） - 知乎 (zhihu.com)chttps://zhuanlan.zhihu.com/p/263777564

分子布局和分母布局的建议理解，可以理解为哪种布局就用哪个量的维度作为结果行数（此理解仅限于向量情况）

自动求导相关：

1.存放梯度：

 2.对y进行计算

从这里可以看出，y的值为x内积的两倍，同时有一个grad存在，存放了y形成的方式，在之后可以调用。

3.调用反向传播函数：

通过自动求导，获得y关于每个x的梯度值，下面验证：

 

 可以发现完全正确

pytorch会累积梯度，所以要及时清除之前的值

下图是没有清除的情况：

 深度学习中，对于高阶张量的求导：

 将计算移动到计算图之外:

 上面就利用了detach将参数固定住了。

隐式构造优点：

例子：