机器学习基础 - [第四章：正则化]（3）线性回归的正则化

本文链接：https://blog.csdn.net/duan20140614/article/details/91347425

本文介绍了正则化的线性回归，详细讲解了在线性回归代价函数中加入正则项后的变化。讨论了梯度下降法和正规方程法在正则化线性回归中的应用，展示了参数更新公式，并指出正则化可以防止矩阵XTX在求解过程中的不可逆问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、正则化的线性回归

线性回归模型的代价函数 $J(\theta)$ 一般采用均方误差，即：
$\frac{1}{2m}[\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2}]$
而正则化的线性回归就是在线性回归的代价函数中加入正则项，所以其代价函数 $J(\theta)$ 变为：
$\frac{1}{2m}[\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^{2} +\sum_{j=1}^{n}\theta_{j}^{2}]$
当代价函数发生改变时，其最优参数的求解会发生什么样的改变呢？我们知道线性规划模型求解最优参数有两种方法，一种是梯度下降，另一种是正规方程法，接下来我们看看这两种方法的改变。
在这里插入图片描述

2、梯度下降法求解正则化的线性回归

未正则化的线性回归模型的梯度下降法的参数更新的公式：
$\theta_{0}:=\theta_{0}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)}))x_{0}^{(i)}$ $\theta_{j}:=\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)}))x_{j}^{(i)}$
正则化的线性回归模型的梯度下降法的参数更新公式：
$\theta_{0}:=\theta_{0}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})))x_{0}^{(i)}$ $\theta_{j}:=\theta_{j}-\alpha\frac{1}{m}[\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)}))x_{j}^{(i)}+\lambda\theta_{j}]\\ \Rightarrow\theta_{j}:=(1-\alpha\frac{\lambda}{m})\theta_{j}-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)}))x_{j}^{(i)}$
从上面可以看出， $\theta_{0}$ 的更新式子不变，而 $\theta_{j}$ 是在原有更新公式的基础上，先将更新前的 $\theta_{j}$ 缩小 $(1-\alpha\frac{\lambda}{m})$ 倍，然后再进行更新。
在这里插入图片描述

3、正规方程法求解正则化的线性回归

未正则化的线性回归模型的使用正规方程求解参数的结果：
$\theta=(X^{T}X)^{-1}X^{T}y$
正则化的线性回归模型的使用正规方程求解参数的结果：
$\theta=(X^{T}X+\lambda\left[\begin{matrix}0 &\cdots &0\\ \vdots &1&\vdots\\0&\cdots&1\end{matrix}\right])^{-1}X^{T}y$
在这里插入图片描述
我们知道，在使用正规方程法求解的时候，可能会遇到 $X^{T}X$ 不可逆的情况，但是如果是求解正则化的，就可以避免不可逆的情况：