机器学习 Machine Learning（by Andrew Ng）----第五章 正则化(Regularization)

第五章 正则化(Regularization)

 <过拟合的问题(The Problem of Overfitting)>

<代价函数(Cost Function)> 

<正则化线性回归(Regularized Linear Regression)>

<正则化逻辑回归(Regularized Logistic Regression)>

1.过拟合的问题(The Problem of Overfitting)

       我们已经学习了几种不同的监督学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过度拟合(over-fitting)的问题，可能会导致它们效果很差。

  下面我们举一个线性回归的例子：

   第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。

   分类问题中也存在这样的问题：

   就以多项式理解，x的次数越高，拟合的越好，但相应的预测的能力就可能变差。

   如果我们发现了过拟合问题，应该如何处理？

     1.丢弃一些不能帮助我们正确预测的特征，即减少feature个数。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）；

     2.正则化。 保留所有的特征，但是减少参数的大小（magnitude）。

2.代价函数(Cost Function)

       

        我们可以从之前的事例中看出， 正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了。

        所以我们要做的就是在一定程度上减小这些参数θ的值，这就是正则化的基本方法。我们决定要减少θ₃ 和θ₄ 的大小，我们要做的便是修改代价函数，在其中θ₃和θ₄ 设置一点惩罚。这样做的话，我们在尝试最小化代价时也需要将这个惩罚纳入考虑中，并最终导致选择较小一些的θ₃ 和θ₄。通过这样的代价函数选择出的θ₃和θ₄对预测结果的影响就比之前要小许多。

       假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。这样的结果是得到了一个较为简单的能防止过拟合问题的假设：

其中λ又称为正则化参数（Regularization Parameter）。 注：根据惯例，我们不对θ₀进行惩罚。

        如果选择的正则化参数λ过大，则会把所有的参数都最小化了，导致模型变成h_θ(x)=θ₀ 也就是下图中红色直线所示的情况，造成欠拟合。

                         

        那为什么增加的一项 可以使θ的值减小呢？

       因为如果我们令λ的值很大的话，为了使Cost Function 尽可能的小，所有的θ的值（不包括θ₀）都会在一定程度上减小。但若λ的值太大了，那么θ（不包括θ₀）都会趋近于0，这样我们所得到的只能是一条平行于x轴的直线。

       所以对于正则化，我们要取一个合理的λ的值，这样才能更好的应用正则化。

3.正规化线性回归(Regularized Linear Regression)

   首先，按照上面的cost function的公式，如何应用梯度下降法进行参数更新。

     对于θ0，没有惩罚项，更新公式跟原来一样

     对于其他θj，J(θ)对其求导后还要加上一项(λ/m)*θj，见下图：

   可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令θ值减少了一个额外的值。

   我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：

图中的矩阵尺寸为 (n+1)*(n+1)。而且，括号中的部分也是可逆的。

4.正规化逻辑回归(Regularized Logistic Regression)

        我们已经讲过的逻辑回归中过拟合的情况，如图：

然后，我们对这个cost function 函数进行正则化处理，如图：

然后，我们对它使用梯度下降的方法，如图：

注：看上去同线性回归一样，但是知道 h_θ(x)=g(θ^TX)，所以与线性回归不同。

        Octave 中，我们依旧可以用 fminuc函数来求解代价函数最小化的参数。值得注意的是参数θ₀ 的更新规则与其他情况不同。

       注意：

            1.虽然正则化的逻辑回归中的梯度下降和正则化的线性回归中的表达式看起来一样，但由于两者的h(x)不同所以还是有很大差别。

            2.θ₀不参与其中的任何一个正则化。