机器学习中的矩阵向量求导(三) 矩阵向量求导之微分法

在机器学习中的矩阵向量求导(二) 矩阵向量求导之定义法中，我们讨论了定义法求解矩阵向量求导的方法，但是这个方法对于比较复杂的求导式子，中间运算会很复杂，同时排列求导出的结果也很麻烦。因此我们需要其他的一些求导方法。本文我们讨论使用微分法来求解标量对向量的求导，以及标量对矩阵的求导。

本文的标量对向量的求导，以及标量对矩阵的求导使用分母布局。如果遇到其他资料求导结果不同，请先确认布局是否一样。

1. 矩阵微分

在高数里面我们学习过标量的导数和微分，他们之间有这样的关系：$df=f^{\prime }(x)dx$。如果是多变量的情况，则微分可以写成：
$$df=\sum _{i=1}^n\frac{\partial f}{\partial x_i}d{x}_i=(\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x}$$
从上次我们可以发现标量对向量的求导和它的向量微分有一个转置的关系。

现在我们再推广到矩阵。对于矩阵微分，我们的定义为：
$$df=\sum _{i=1}^m\sum _{j=1}^n\frac{\partial f}{\partial X_{ij}}d{X}_{ij}=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{T}d\mathbf{X})$$

其中第二步使用了矩阵迹的性质，即迹函数等于主对角线的和。即
$$tr(A^{T}B)=\sum _{i,j}{A}_{ij}{B}_{ij}$$
从上面矩阵微分的式子，我们可以看到矩阵微分和它的导数也有一个转置的关系，不过在外面套了一个迹函数而已。由于标量的迹函数就是它本身，那么矩阵微分和向量微分可以统一表示，即：
$$df=tr((\frac{\partial f}{\partial \mathbf{X}}{)}^{T}d\mathbf{X})df=tr((\frac{\partial f}{\partial \mathbf{x}}{)}^{T}d\mathbf{x})$$

2. 矩阵微分的性质

我们在讨论如何使用矩阵微分来求导前，先看看矩阵微分的性质：
1）微分加减法： d ( X + Y ) = d X + d Y , d ( X − Y )