吴恩达 【机器学习】第八章 正则化

吴恩达 【机器学习】第八章 正则化(Regularization)

正则化是为了解决过拟合问题的

8.1 过拟合问题(overfitting)

• underfit：欠拟合；overfit：过拟合
• 过拟合：以多项式理解， $x$的次数越高，拟合的越好(能非常好地适应我们的训练集)，但相应的预测的能力(在新输入变量进行预测时)就可能变差。
• 解决办法：
  1. 丢弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如 PCA）
  2. 正则化。 保留所有的特征，但是减少参数的大小（magnitude）。

8.2 代价函数

• 之前的回归问题中我们的模型是：
  $h_{\theta }\left(x\right)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3+{\theta }_4{x}_4^4$
  我们可以从之前的事例中看出，正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了。
• 假如我们有非常多的特征，我们并不知道其中哪些特征我们要惩罚，我们将对所有的特征进行惩罚，并且让代价函数最优化的软件来选择这些惩罚的程度。
• 这样的结果是得到了一个较为简单的能防止过拟合问题的假设：
  $J\left(\theta \right)=\frac{1}{2m}[\sum _{i=1}^m{(h_{\theta }(x^{(i)})-y^{(i)})}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$
  其中$\lambda$又称为正则化参数（Regularization Parameter）。
  注：根据惯例，我们不对${\theta }_0$ 进行惩罚。

8.3 线性回归的正则化

• 对于线性回归的求解，我们之前推导了两种学习算法：
  一种基于梯度下降，
  一种基于正规方程。

• 正则化线性回归的代价函数为：
  $J\left(\theta \right)=\frac{1}{2m}\sum _{i=1}^m[({(h_{\theta }(x^{(i)})-y^{(i)})}^2+\lambda \sum _{j=1}^n{\theta }_j^2)]$

• 如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对${\theta }_0$进行正则化，所以梯度下降算法将分两种情形：
  $Repeat$ $until$ $convergence$ {
  ${\theta }_0:={\theta }_0-a\frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})x_0^{(i)})$

  ${\theta }_j:={\theta }_j-a[\frac{1}{m}\sum _{i=1}^m((h_{\theta }(x^{(i)})-y^{(i)})x_j^{\left(i\right)}+\frac{\lambda }{m}{\theta }_j]$ $for$ $j=1,2,...n$
  }
  对上面的算法中 $j=1,2,...,n$ 时的更新式子进行调整可得：
  ${\theta }_j:={\theta }_j(1-a\frac{\lambda }{m})-a\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{\left(i\right)}$
  可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的基础上令$\theta$值减少了一个额外的值。

• 我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：
  图中的矩阵尺寸为 $(n+1)\ast (n+1)$。