总结3个在机器学习种用到的比较多的矩阵求导公式

总结矩阵求导以及矩阵求导在机器学子中的应用

在深度学习神经网络的反向传播时，需要根据最后输出的loss反向更新网络的参数，神经网络的训练过程实际上就是参数的更新过程，参数是根据梯度下降法更新的，而梯度的计算需要用到偏导数。因此本文总结了3种在机器学习种用到最多的矩阵求导公式。

考虑三种常见的情况：

case1 vector to vector

$\mathbf{y}=f(\mathbf{x})$，其中，y是m维列向量，x是n维列向量。

$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$

需要将y中的元素对x中的元素一一求导，那么求导结果是$m\times n$ 个元素，然后确定结果的形状，$\mathbf{y},\mathbf{x}$均为向量，$\mathbf{y}$ 纵向拉，$\mathbf{x}$横向拉。

case2 向量内积形式求导

结果等于另一个向量,很重要，建议直接背！
$\mathbf{y}={\mathbf{a}}^T\mathbf{x}$
$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\mathbf{a}$, $\frac{\partial \mathbf{y}}{\partial \mathbf{a}}=\mathbf{x}$

case3 二次型

$y={\mathbf{x}}^{\top }\mathbf{A}\mathbf{x}$
注意，这里的y是一个标量，这个x是一个n维的列向量，A矩阵是n维的方阵
则$\frac{\partial y}{\partial \mathbf{x}}=(A+A^T)\mathbf{b}$