【机器学习】022_正则化

一、解决过拟合的三种方法

        · 增加数据量，增加训练数据集

        · 尝试仅选择和使用功能的一个子集，即减少特征值的种类

        · 使用正则化

二、正则化的算法思想

例：假设目前有一个模型，其用多项式拟合数据，但出现了过拟合的情况

· 减小过拟合的方法：

        假若我们想要减小模型的过拟合情况，就必须对次数大的特征值次数项的参数作处理。

        当参数值越小的时候，该次数项对于模型预测的影响也就变得更小。

        因此，我们要让  尽可能地小。

        由此，更改成本函数，加上一个较大的  项，促使模型向着使其值更小的方向改进。

· 但当实际完善模型的时候，我们可能不知道哪些特征值更重要，哪些更次要，因此，正则化一个常见的做法是对所有特征值的所有参数  全部进行惩罚。

※ 一般而言，不对b进行惩罚。

三、更改成本函数以惩罚参数

· 惩罚：人为限制参数的大小，保证其值不过大导致模型过拟合

· 做法：在成本函数里额外增加一条算法来不断优化参数大小

· 上式中，第一部分用来判断拟合数据的好坏精度，第二部分用来惩罚参数 ，使其向着尽量小的方向不断更新值。

· 正则化参数：

         指定了要缩小过拟合的程度，用来权衡过拟合和欠拟合之间的平衡。

        假若  的值过大，会使得  的值变得非常非常小，模型预测结果基本等于 ，导致欠拟合。

        假若  的值过小，成本函数对  的值的影响非常微弱， 数值依旧不得下降，导致过拟合。

        因此，要选择介于两者之间的某个  值，最小化均方误差并保持参数较小。

四、线性回归正则方法

对于线性回归模型，在梯度下降算法中重复更新  的值，以期获得合适的参数。

 不同的是，通过该计算公式，我们可以看到，每次  的值都被人为减去了  倍，这使得参数的值逐渐变小以防止过拟合。后面的部分则是正常的梯度下降拟合数据。

五、逻辑回归正则方法

利用同样的方法，对成本函数作处理，不断减小参数  的值。