吴恩达 机器学习课程笔记（六）过拟合问题

什么是过拟合

线性回归中的过拟合

沿用房价预测问题，下边三幅图分别代表欠拟合（underfitting，high bias）、拟合（刚好合适）、过拟合（overfitting，high variance）
bias理解：算法带有一种很强的偏见（偏差），认为房子价格与面积线性相关，而罔顾数据（证据）的不符，先入为主地拟合一条直线，最终导致拟合效果很差。
variance理解：假设函数是一个高阶多项式，可以拟合几乎所有的数据，但将面临的问题是，该假设函数太过庞大，变量太多，我们没有足够的数据来约束它。

过拟合的假设函数往往泛化性能很差。其中，泛化（generalize）是指一个假设模型应用到新样本的能力。

逻辑回归中的过拟合

同样的，下边三幅图分别为欠拟合（high bias）、拟合（刚好合适）、过拟合（high variance）

过拟合的解决方法

过拟合产生原因之一特征过多，数据量过小
策略1：减少特征数量（特征选择，model selection algorithm），缺点是丢掉了数据的一些信息。
策略2：正则化（regularization）保留全部特征，减少量级或参数的大小。

正则化原理

高阶参数惩罚项

在损失函数中添加高阶参数惩罚项，放大参数所带来的效果，训练出的模型中这些高阶参数的值往往趋近于0，从而实现在保留所有特征的同时使模型尽可能的简单，有效避免过拟合。

函数$1+x+x^2+13x^3+14x^4$图像如下图：

函数$1+x+x^2+0.3x^3+0.4x^4$的图像如下图，

可以看到，高阶项参数越小，图像越平滑，模型越简单，越不容易出现过拟合。

惩罚所有参数

有时我们无法选择惩罚哪些特征对应参数，此时在损失函数后加上额外的正则化项，惩罚所有的参数。此时的损失函数如下图所示，$\lambda$被称作正则化参数，旨在控制两个不同目标之间的取舍。第一个目标，即目标函数的第一项，是想更好地拟合数据，第二个目标，即目标函数的第二项，就是保持参数尽量地小。$\lambda$的作用是控制这两个目标之间的平衡关系，在参数尽可能小的情况下，也能很好地拟合训练集数据，有效避免了过拟合的发生。

$\lambda$设置不宜过大，过大导致模型过于简单，容易欠拟合。

正则化线性回归

正则化线性回归的损失函数及优化目标：

梯度下降法实现优化目标

正规方程实现优化目标

正则化同时也避免了不可逆问题。

正则化逻辑回归

正则化逻辑回归的损失函数表达式

梯度下降法最小化损失函数

20200921 气温骤降，冷冷的一天
摸鱼一时爽，一直摸鱼一直爽~
组会火葬场 : (