机器学习（九）：过拟合和正则化

本文链接：https://blog.csdn.net/weixin_45733884/article/details/136767926

本文详细探讨了过拟合现象在模型中的表现，介绍了如何通过增加训练数据、选择适当特征和应用正则化来防止过拟合。通过正则化公式和梯度下降在逻辑回归中的应用实例，展示了如何在代价函数中平衡模型复杂度和泛化能力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、过拟合

下面三张图对应三个模型：

第一个模型属于欠拟合（underfit或high bias），模型的预测值与实际值有很大偏差
第二个模型属于正正好（generalization），可以推广到其他数据
第三个模型属于过拟合（overfit或者high variance），模型的预测值与实际值的偏差几乎没有，但是很难推广到其他数据，当出现新的数据时，模型的预测值明显不符合预期。如果有两批不同的训练集数据，使用这种模型训练，算出的w1、w2参数将会截然不同

二、如何避免过拟合

1、收集更多训练数据集

训练集数据量越大，模型越能避免过拟合

2、选择合适的特征集

选取合适的特征子集，比如有20种特征，只选取适合的其中几种特征。不过有风险丢失掉有用的特征，导致模型不准确

3、正则化（Regularization）

当拥有很多特征，不知道哪些特征是重要特征时，使用正则化缩小所有的参数，不使用极端参数，使拟合更加光滑。

举个例子，下图是过拟合模型

通过把上述模型的w2、w3、w4参数减小，减小参数值的影响，就可以得到正正好的模型。

三、正则化

1、正则化公式

在代价函数中引入正则化， $\frac{\lambda }{2m}\sum_{j=1}^{n}w_{j}^{2}$ ，n为特征个数， $\lambda$ 是正则化参数， $\lambda$ >0

平方误差代价函数引入正则化后，表达式：

$J(\vec{w},b)=\frac{1}{2m}\sum_{i=1}^{m}(f_{\vec{w},b}(\vec{x}^{(i)})-y^{(i)})^{2}+\frac{\lambda }{2m}\sum_{j=1}^{n}w_{j}^{2}$

逻辑回归代价函数引入正则化后，表达式：

$J(\vec{w},b)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log(f_{\vec{w},b}(\vec{x}^{(i)}))+(1-y^{(i)})log(1-f_{\vec{w},b}(\vec{x}^{(i)}))]+\frac{\lambda }{2m}\sum_{j=1}^{n}w_{j}^{2}$