关于回归所用的数学公式推导-矩阵形式

文章目录

目录

一、最小二乘法：

二、岭回归法

三、Lasso回归法

总结

---

---

前言

先声明一下，以下的推导只是有助于理解，并不严谨！

一、最小二乘法：

我们都知道最小二乘需要满足一个概念，就是使得所得到的函数残差平方和最小，即：

转化成矩阵形式就是这个值等于：

 那如果要求最小值，自然就是对B这个希腊字母求偏导，然后令等于0的时候即：

而右边那个为啥没继续求偏导呢？

是因为其求偏导不能直接链式法则！，而是要按照下面的方法 

只不过在这里和链式法则一样，所以最终得到的是：

 

这便是参数的由来，而且这里需要前面那个逆矩阵的原矩阵是满秩的 ！只要行列式det不等于0即可，这个学过线性代数的都知道

二、岭回归法

而岭回归法则相当于是在最小二乘法的那个残差平方和后面加了一个调制参数（涉及范数）罢了：

那前面的求导是一样的，后面的则是，这里的I是全是1的矩阵，因为那个希腊字母是以一个常数，所以需要用矩阵去与他相乘：

同样的，他也需要那个逆矩阵的原矩阵是满秩的，只要行列式det不等于0即可

三、Lasso回归法

这个也是差不多的，只是后面那个范数（也就是下角标变了以及后面的没有平方了）

得到的就是：

---

 

总结

这里只是自己比较有疑惑，并且想弄懂而写下的大概推导，有错误还请大家指正！