机器学习笔记4：正则化（Regularization）

最新推荐文章于 2023-04-03 19:30:10 发布

hui_0_

最新推荐文章于 2023-04-03 19:30:10 发布

阅读量216

点赞数

分类专栏： Andrew Ng机器学习文章标签：人工智能机器学习

本文链接：https://blog.csdn.net/hui_0_/article/details/83306359

版权

本文是Andrew Ng机器学习课程的学习笔记，主要探讨了正则化（Regularization）在解决过拟合问题上的作用。过拟合会导致模型在训练集上表现良好，但在新数据上预测准确性降低。通过减少特征参数或使用正则化可以缓解过拟合。正则化的损失函数添加了特征权重的平方和，梯度下降法在更新权重时会考虑正则化项，以避免模型复杂度过高。

摘要由CSDN通过智能技术生成

机器学习笔记4：正则化（Regularization）

Andrew Ng机器学习课程学习笔记4

过拟合与欠拟合
　　线性拟合时，有两种拟合效果不好的情况，分别是过拟合与欠拟合。
　　过拟合(overfitting)，也叫高方差(variance)。主要是拟合曲线过于弯曲，虽然很多训练的数据集都在拟合曲线上，但是，对于新的测试集数据预测正确的概率不高。一般特征参数过多的时候可能会出现情况。比如用高阶函数去拟合低阶函数的数据。
　　欠拟合(underfitting)，也叫高偏差(bias)。主要是拟合曲线过于平直，不能适应训练集的变化。比如用低阶函数去拟合高阶函数的数据。
　　对于过拟合，解决办法有：
　　1.减少特征参数的数量。
　　2.正则化
　　正则化时，我们将保留所有的特征变量，但是会减小特征变量的数量级，使得特征变量的影响小一些。

loss function
　　线性回归的正则化损失函数，就是在原线性拟合的损失函数上增加了一项，具体实现如下：
$\dfrac{1}{2m}{[ \sum_{i=1}^{m}(h_θ(x^{(i)})-y^{(i)})^2+λ\sum_{j=1}^{n}θ_j^2 ]}$