七、正则化(Regularization)

最新推荐文章于 2022-05-20 22:30:42 发布

gzmgzm_ming

最新推荐文章于 2022-05-20 22:30:42 发布

阅读量287

点赞数

分类专栏：吴恩达机器学习摘要

本文链接：https://blog.csdn.net/gzmgzm_ming/article/details/104215384

版权

本文探讨了过拟合问题及其在线性回归和逻辑回归中的影响。正则化作为解决手段，通过调整参数大小来降低模型复杂度，防止过拟合。介绍了正则化线性回归和逻辑回归的代价函数，以及如何通过梯度下降和正规方程求解模型。正则化参数的选择至关重要，既要避免欠拟合，又要防止过拟合。

摘要由CSDN通过智能技术生成

7.1 过拟合的问题

已经学习了几种不同的学习算法：线性回归和逻辑回归。会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差
非常多的特征，假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是不能推广到新的数据。
欠拟合：与数据据拟合效果差；
过拟合：与数据集拟合效果很好，但是不能推广到新数据
方法：丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
正则化。保留所有的特征，但是减少参数的大小（magnitude）

7.2 代价函数

回归问题中的高次项导致了过拟合，让这些高次项的系数接近于0的话，我们就能很好的拟合了
在一定程度上减小这些参数的值，这就是正则化的基本方法
对高阶函数设置惩罚，如代价函数
在这里插入图片描述
假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设，增加的惩罚参数为正则化参数（Regularization Parameter）