Python手写岭回归算法

理论

岭回归在最小二乘法的基础上加上了一个$l_2$惩罚项
假设函数：$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n$$

损失函数：$$J\left(\theta \right)=\frac{1}{2m}\sum _{i=1}^m[({(h_{\theta }(x^{(i)})-y^{(i)})}^2+\lambda \sum _{j=1}^n{\theta }_j^2)]$$

损失函数的矩阵形式：$$J(\theta )=(y-X\theta {)}^T(y-X\theta )+\lambda {\theta }^T\theta$$

其中：

• $y$ 是一个$n\times 1$的向量，包含了所有的因变量。
• $X$ 是一个 $n\times p$的矩阵，其中$n$是样本数，$p$ 是特征数。
• $\theta$ 是一个 $p\times 1$的向量，包含了所有的回归系数。
• $\lambda$ 是正则化参数，控制惩罚的强度。
• ${}^T$ 表示矩阵转置。

正规方程推导过程

岭回归算法的参数估计可以通过正规方程来求解。正规方程是一种闭合形式的解，适用于求解线性方程组。在岭回归中，我们添加了一个正则化项，以便在存在共线性的情况下稳定参数估计。下面是岭回归正规方程的推导过程：

要找到最小化损失函数的参数 $\theta$，我们对损失函数关于 $\theta$ 求导并设为零：

$$\frac{\partial }{\partial \theta }\left[(y-X\theta {)}^T(y-X\theta )+\lambda {\theta }^T\theta \right]=0$$

展开并简化上式：

1. 对第一项 $(y-X\theta {)}^T(y-X\theta )$ 求导得到：
   $$-2X^T(y-X\theta )$$

2. 对第二项 $\lambda {\theta }^T\theta$ 求导得到：
   $$2\lambda \theta$$

因此，我们有：

$$-2X^T(y-X\theta )+2\lambda \theta =0$$

简化上述等式：

$$X^{T}y-X^{T}X\theta +\lambda \theta =0$$

将上述等式重新排列，以解出 $\theta$：

$$X^{T}X\theta +\lambda \theta =X^{T}y$$

合并 $\theta$ 相关的项：

$$(X^{T}X+\lambda I)\theta =X^{T}y$$

其中 $I$ 是单位矩阵。

最后，解出 $\theta$：

$$\theta =(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$

这就是岭回归的正规方程。需要注意的是，由于加入了 $\lambda I$，正则化项确保了 $X^{T}X+\lambda I$ 矩阵是可逆的（或者更准确地说，是正定的），这在处理共线性特征时特别重要，因为在普通最小二乘回归中 $X^{T}X$ 可能是奇异的或接近奇异的。

梯度下降法

一般形式：

重复以下步骤 直到收敛:

${\theta }_0:={\theta }_0-\lambda \frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)})$

${\theta }_j:={\theta }_j-\lambda [\frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})x_j^{\left(i\right)}+\frac{\lambda }{m}{\theta }_j]$

$j=1,2,...n$

${\theta }_j:={\theta }_j(1-\alpha \frac{\lambda }{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{\left(i\right)}$

$\lambda$是控制模型复杂度的因子，可看做收缩率的大小。$\lambda$越大，收缩率越大，系数对于共线性的鲁棒性更强

矩阵形式：

批量梯度下降

$$\theta =(1-\lambda \frac{\alpha }{m})\theta -\frac{\alpha }{m}{X}^T(X\theta -Y)$$

小批量梯度下降

$$\theta =(1-\lambda \frac{\alpha }{m})\theta -\frac{\alpha }{M}{X_M}^T(X_M\theta -Y_M)$$

其中 $M$为batch_size，$X_M$表示$M$条数据，$Y_M$为$X_M$对应的$y$的值。

随机梯度下降

$$\theta =(1-\lambda \frac{\alpha }{m})\theta -\alpha {X^{(i)}}^T(X^{(i)}\theta -Y^{(i)})$$

Python实现

下述代码详细的实现了矩阵计算方法、梯度下降法、批量梯度下降法、随机梯度下降法四种方法：
https://github.com/xiligey/npml/blob/master/npml/linear_model/ridge.py

运行测试代码结果如下：
https://github.com/xiligey/npml/blob/master/test/test_ridge.py

矩阵法系数：[[3.1976789 ]
[2.18770957]]
批量梯度下降法系数：[[3.1976789 ]
[2.18770957]]
小批量梯度下降法系数：[[3.25664069]
[2.03215727]]
随机梯度下降法系数：[[3.21467618]
[2.30263593]]
sklearn的岭回归回归系数：(array([[2.17620422]]), array([3.21107145]))