正则化（Regularization）

最新推荐文章于 2024-02-24 00:00:00 发布

Civitasv

最新推荐文章于 2024-02-24 00:00:00 发布

阅读量519

点赞数

分类专栏： Neural network 文章标签： Machine Learning Regularization Overfitting

本文链接：https://blog.csdn.net/qq_40996400/article/details/88189744

版权

Neural network 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

过拟合问题（Overfitting）

当我们对一个问题建立线性回归模型或逻辑回归模型时，不恰当的选择特征会导致过拟合问题。过拟合问题是指当我们选择了很多的特征值时，模型对数据集的每一个example都符合的很好，但是对新的example却预测不能，偏差较大。

解决方法

方法一：减少特征量的数量

方法二：正则化

本片博客暂不讨论方法一，着重于正则化的分析。

正则化（Regularization）

正则化的思想是保留所有特征量，而通过减小 $\small \Theta$ 的值解决过拟合，这样我们就可以在不舍弃任何一个有价值的量的前提下解决过拟合问题。

线性回归正则化

线性回归正则化的具体操作方法是在代价函数后添加一项 $\frac{\lambda }{2m}\sum_{j=1}^{n}\Theta _j^{2}$ ，其中 $\lambda$ 是正则化系数，这样

代价函数变为：

$\large J(\Theta ) = \frac{1}{2m}[\sum_{i=1}^{m}(h_\Theta (x^{(i)})-y^{(i)})^2+\lambda \sum_{j=1}^{n}\Theta _j^2]$

梯度下降算法变为：

repeat until convergence{

$\small \Theta _0 := \Theta _0-\alpha *\frac{1}{m} \sum_{i=1}^{m}((h_\Theta (x^{(i)})-y^{(i)})*x^{(i)}_0)$

$\small \Theta _j := \Theta _j-\alpha *[\frac{1}{m} \sum_{i=1}^{m}((h_\Theta (x^{(i)})-y^{(i)})*x^{(i)}_j)+\frac{\lambda }{m}\Theta _j]$ j = 1,2,3,...n

}

正规方程法变为：

$\Theta = (X^T*X+\lambda *E)^{-1}*X^T*y$ ，其中E是(n+1)*(n+1)的单位矩阵。注意此时不存在不可逆的问题。

逻辑回归正则化

代价函数变为：

$J(\Theta ) = -\frac{1}{m}(ylog(h_\Theta (x))+(1-y)log(1-h_\Theta (x)))+\frac{\lambda }{2m}\sum_{j=1}^{n}\Theta _j^2$

梯度下降算法变为：

repeat until convergence{

$\small \Theta _0 := \Theta _0-\alpha *\frac{1}{m} \sum_{i=1}^{m}((h_\Theta (x^{(i)})-y^{(i)})*x^{(i)}_0)$

$\small \Theta _j := \Theta _j-\alpha *[\frac{1}{m} \sum_{i=1}^{m}((h_\Theta (x^{(i)})-y^{(i)})*x^{(i)}_j)+\frac{\lambda }{m}\Theta _j]$ j = 1,2,3,...n

}