数学基础（二）逆矩阵、伪逆矩阵、最小二乘解、最小范数解

举一个多元线性回归的例子：

假设都为n维的行向量，N表示样本个数，y为实数。

则得到到，其中，为向量中的n个值；就是要估计的参数。

 将上式写成矩阵的形式就是

我们的目的就是要解出参数a的列向量，则通过下式即可解出a向量。

但是通常情况下样本量N并不等于每个样本的维度n，

则求的最小值 

对a求偏导，导数等于0处去最小值

【置于为什么求偏导后的式子是这样的，我放到了最后说明，该结论记住即可】

移项得

那么是否可逆呢？如果可逆，就可以通过求得a向量。

下面判断是否可逆，当时，有两种情况，N>n 和 N<n。

①N>n

其中，，，则

 

 这个就是伪逆矩阵，当X可逆时，它就是逆矩阵。

伪逆矩阵对应的解法叫做最小二乘解。 

②N<n 

 其中，，，则

 

 注意：

 此时不可逆该怎么办呢？

我们就需要在后面加入一个正则项。

为什么要加入正则项呢？针对N<n，样本量不足，属于过拟合现象，针对过拟合问题，我们就会对代价函数加入正则项来缓解过拟合。（加入正则项求的解叫做最小范数解）

对a求偏导得到

移项：

为什么必为可逆呢？ 肯定是可逆的，故加上（半正定矩阵，上一章证明过）也是可逆的。

证明一下：

 其中是试探向量，故，所以2式为是正定的，非半正定。

 这个公式叫做岭回归，在对角线上加入了 λ，就像山岭一样。

 对矩阵求偏导：

  

 

更多请参考：矩阵求导、几种重要的矩阵及常用的矩阵求导公式_~青萍之末~的博客-CSDN博客_矩阵求导公式大全