[机器学习] 矩阵求导最小二乘问题

原文请点击
关于最小二乘问题的求解，之前已有梯度下降法，还有比较快速的牛顿迭代。今天来介绍一种方法，是基于矩阵求导来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。

在开始之前，首先来认识一个概念和一些用到的定理。矩阵的迹定义如下：

一个 n*n 的矩阵的迹是指的主对角线上各元素的总和，记作$tr(A)$。即

$$tr(A) = \sum_{i=1}^n{a_{ii}}$$

定理1：
$tr(AB) = tr(BA)$

证明：$tr(AB)=\sum_{i=1}^{n}(AB)_{ii} = \sum_{i=1}^{n}\sum_{j=1}^{m}{A_{ij}B_{ji}}=\sum_{j=1}^{m}\sum_{i=1}^{n}{B_{ji}A_{ij}}=\sum_{j=1}^{m}{(BA)_{jj}}=tr(BA)$

定理2：
$tr(ABC)=tr(CAB)=tr(BCA)$

证明：把AB或者BC当作整体，由定理1可知道成立

定理3：
$\frac{\partial tr(AB)}{A}= \frac{\partial tr(BA)}{A}=B^T$, 其中A是 m*n的矩阵，B是n*m的矩阵。

证明：

$$tr(AB)=\left[ \begin{matrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \\ \end{matrix} \right]=\left[ \begin{matrix} b_{11} &b_{12} & \cdots & b_{1m} \\ b_{21} & b_{22} & \cdots & b_{2m} \\ \vdots & \vdots & \ddots & \vdots \\ b_{n1} & b_{b2} & \cdots & b_{nm} \\ \end{matrix} \right]$$

我们只考虑对角线上的元素，那么有

$tr(AB)=\sum_{i=1}^{n}{a_{1i}b_{i1}}+\sum_{i=1}^{n}{a_{2i}b_{i2}}+ ... +\sum_{i=1}^{n}{a_{mi}b_{im}}=\sum_{i=1}^m\sum_{j=1}^n{a_{ij}b_{ji}}$

$\frac{\partial tr(AB)}{\partial A}=b_{ji}=B^T$

定理4：
$\frac{\partial tr(A^TB)}{\partial A}=\frac{\partial tr(BA^T)}{\partial A}=B$

证明：
证明步骤和定理3一样， 很容易，不再赘述。

定理5：
$tr(A)=tr(A^T)$

定理6：
如果 a 是一个实数， 那么有 $tr(a) = a$

定理7：
$\frac{\partial tr(ABA^TC)}{\partial A} = CAB + C^TAB^T$

证明：
分步骤求导：
$\frac{\partial tr(ABA^TC)}{\partial A}=\frac{\partial tr(ABA^TC)}{\partial A} + \frac{\partial tr(A^TCAB)}{\partial A}$

$= (BA^TC)^T + CAB$

$= CAB + C^TAB^T$

好了，有了上述7个定理，就可以来求最小二乘解了。设

那么进一步得到

接下来会涉及到矩阵求导，因为

那么进一步利用矩阵求导并利用上述定理，得到

我们知道在极值点处梯度值为零，即

上述得到的方程组叫做正规方程组，那么最终得到

这样最小二乘问题只需解一个线性方程组即可，不再需要像梯度下降那样迭代了。

既然说到了正规方程组，在介绍一种方程组，叫做超定方程组，它的定义为：把方程个数大于未知量个数的方

程组叫做超定方程组。通常来说，对于一个超定方程组来说，求最小二乘解只需要两边同时乘的转

置，然后得到正规方程组，然后解这个方程就得到了最小二乘解。