吴恩达机器学习——第8章 正则化

1、目的

1.1 过拟合的定义

过拟合：指的是模型对训练集数据过度匹配，而对于新数据不能正确预测的情况。

1.2 正则化

正则化是用来解决模型过拟合问题的一种思路。

基本思路是在保留所有特征的基础上，减小参数的大小（参数指的是$\theta$）。这样每个特征对于预测结果的权重都会减少。

原因是过拟合是由于多项式对曲线影响过大造成的（多项式指的就是$x^3,x^4$这种，通过减小$\theta$就能降低这些多项式对结果的影响。

与之相对应的另一种优化思路是：把不能帮助我们正确预测结果的特征去掉，剩下的特征都是对预测结果起到关键作用的特征。可以手工去除，也可以通过模型帮我们去除。该方式不是本文的重点。

2、原理

回忆一下线性回归的代价函数:
$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2$$

正则化的目标是保证$J(\theta )$最小的情况下$\theta$最小，为了使$\theta$变小，我们把代价函数变成如下的形式：
$$J(\theta )=mi{n}_{\theta }\frac{1}{2m}\left[\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2+10000{\theta }_1^2+10000{\theta }_2^2+10000{\theta }_3^2+......\right]$$
简写为：
$$J(\theta )=mi{n}_{\theta }\frac{1}{2m}\left[\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2\right]$$

可以看到，如果想$J(\theta )$最小的情况下θ最小，则$\lambda$就要变大;

当$\lambda$非常大的情况下，θ就只能是0了，则模型就成了一条直线了。

3、应用到线性回归

3.1 梯度下降

线性回归的梯度下降公式为：
repeat{
${\theta }_0={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
${\theta }_j={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}$
}

根据第2章的介绍，特征正则化后梯度下降的公式变成了：
repeat{
${\theta }_0={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
${\theta }_j={\theta }_j-\left[\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}+\frac{\lambda }{m}{\theta }_j\right]$
}
等价于：
repeat{
${\theta }_0={\theta }_0-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
${\theta }_j=(1-\frac{\lambda }{m}){\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\ast x_j^{(i)}$
}

由于$\frac{\lambda }{m}$是个正数，则$1-\frac{\lambda }{m}<1$，所以调整后的${\theta }_j$比之前要小。这样就能得到比之前小的参数$\theta$.

3.2 正规方程

正规方程的表达式为：

$$\theta =(X^T\ast X{)}^{-1}\ast X^T\ast y$$

正则化后变成了：

$$\theta =(X^T\ast X+\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 1\end{array}\right]{)}^{-1}\ast X^T\ast y$$

注意，新增的加数是一个矩阵，这个矩阵的维度与X有关联，上述表达式只是为了表示方便才写成固定的矩阵；

这个矩阵与单位矩阵只差[1,1]这个坐标，其它的都是一样的。

4、应用到逻辑回归

应用到逻辑回归的方式与线性回归完全一致，这里就不细说了。