机器学习（6）过度拟合与正则化

过度拟合与正则化

过度拟合

1.什么是过度拟合

由图所示：

第一张图，只用的一阶多项式，不能很好的拟合数据集，这种情况称为 欠拟合
第二张图，用的二阶多项式，比较好的拟合了数据集。
第三张图，比较极端，为了完全更好的拟合数据集，使用了四阶多项式。很明显它只对现有样本做了很好的拟合，而并不能很好地泛化，这样的问题，我们称之为过渡拟合。（泛化：指的是一个假设模型能够应用到新样本的能力）
下图案例也是：

第三张图的模型太过于复杂了。

总之，在假设模型是，要尽可能的简单，不能为了拟合数据，假设高阶次，多参数，过于复杂的模型，使其不能不具有好的泛化功能。

2.过度拟合的解决思路

一是减少特征量。但也会造成一些特征没被使用导致预测不准。
二是正则化。主要思想是尽可能的减少参数θ的取值，它可以让每个特征都参与到结果的预测中。

正则化

正则化的运作过程

以上图为例：

虽然图二存在过度拟合的问题，但我们可以通过添加惩罚来使高次项的参数θ_3，θ_4尽可能的小，最好约等于0。这样它就相当于是左边的二阶方程，但是比它更拟合数据。
但是在实际问题中，不知道该对哪些参数添加惩罚使其变小，**可以把所有的参数都变小。**对原来的损失函数进行修改，添加一个额外的正则化项，

λ是正则化参数，它的目标是：平衡 左边拟合数据 与 右边尽可能减小参数 这两者的关系。
但是λ不能设置的过大，否则会出现下面的情况：

因为不惩罚θ_0，λ过大，其他参数值就会趋向0，使模型最终的结果都为θ_0，这显然是错误的。

线性回归的正则化

线性回归的两种算法：梯度下降和正规方程 为了解决过度拟合需要对算法稍微变化一点。

1.梯度下降

前面已经介绍了对损失函数添加一个正则化项来处理：

只需再进行微积分处理即可：

这里只对除θ_0的参数进行处理，有图可知 θ_j每次都会乘以一个比1小一点点的数，每次迭代都会稍微减小 θ_j。

2.正规方程

直接在原来的公式的基础上加个项：

逻辑回归的正则化

公式和线性回归的梯度下降正则化相同：

但是其中的hθ(x)不一样，逻辑回归中是：Sigmoid函数