机器学习笔记05：正则化(Regularization)、过拟合(Overfitting)

说明：文章中的所有图片均属于Stanford机器学习课程

---

（一）过拟合问题(The Problem of Overfitting)

不管是在线性回归还是在逻辑回归中，我们都会遇到过拟合的问题。先从例子来看看什么是过拟合。

i.线性回归中的过拟合

还是以房价预测为例，来看几张张图片：

1.欠拟合（Underfitting）

上图中，我们用一条直线 $h_\theta(x)=\theta_0+\theta_1x$ 来拟合训练集中数据，但是明显何以看出的是，房价不会随面积成比例地增长，这种情况，称之为 欠拟合。

2.过拟合（Overfitting）

如上图所示，我们用一条高次的曲线 $h_\theta(x)=\theta_0+\theta_1x+\theta_2 x^2+\theta_3 x^3+\theta_4 x^4$ 来拟合训练集中的数据，因为参数过多，对训练集的匹配度太高、太准确，以至于在后面的预测过程中可能会导致预测值非常偏离合适的值，预测非常不准确，这就是 过拟合。

3.合适的拟合（Properfitting）

如上图，如果选用一条合适的曲线，比如说抛物线 $h_\theta(x)=\theta_0+\theta_1x+\theta_2 x^2$ 来拟合上面的训练集就非常的合适。这就是一个比较恰当的 假设函数(hypothesis function)。

所以，总结一下，一般在实际应用中不会遇到欠拟合的情况。而过拟合却会经常出现。一盘情况下，过拟合(Overfitting)就是：如果我们使用了太多的特征(features)来训练一个假设函数，就会使其对训练集的匹配度非常高（误差几乎为零：$J(\theta)=\frac{1}{2m} \sum_{i=1}^m (\theta^Tx^{(i)}-y^{(i)})^2$），但是不能推广到其他未知数据上，也就是对于训练集之外的输入，不能做出正确的预测。

---

ii.逻辑回归中的过拟合

再来看看逻辑回归中的过拟合问题，以肿瘤预测为例。

1.欠拟合（Underfitting）

上图中是在逻辑回归的样本中，用一条直线 $z=\theta_0+\theta_1x+\theta_2 x$ 来拟合训练集，明显效果不够理想。这种情况是 欠拟合。

2.过拟合（Overfitting）

而这张图，用了一个高次假设函数来拟合，使得每个样本都严格地分局于 决策边界(decision boundary)的两侧，这种情况叫做 过拟合。
(PS:上面提到的决策边界以及函数g，请参考上一篇：《机器学习笔记04：逻辑回归(Logistic regression)、分类(Classification)》

3.合适的拟合（Properfitting）

而上面这个二次假设函数则比较合适的拟合了训练集中的数据。

---

iii.处理过拟合(Addressing overfitting)

面对过拟合问题，我们可以像在线性回归中 Debug 误差函数(hypothesis function)那样来画图纠错。以房价预测为例，假设有样本选取了太多的特征：

features	representation
$x_1$	size of house
$x_2$	no. of bedrooms
$x_3$	no. of floors
$x_4$	age of house
$x_5$	average income in neighborhood
$x_6$	kitchen size
…	…
$x_{100}$	traffic situation

然后我们训练出来了一个假设函数 $h_\theta(x)$ 假若发现我们训练得到的假设函数对于新的输入，其预测非常的不好。我们可以将其图像画出来，如果像下图中那样过于匹配训练集中的数据，可能就是过拟合了。其原因大多是因选取了太多的特征(features)。

通常，有两种主要的办法来处理过拟合为题：

1.减少特征的数量
减少特征数量又包括 人工手动减少特征数量 和 使用模型选择算法，后者会在后面的文章中讲到。

2.正则化
正则化(Regularization)则不会减少特征的数量，因为我们可能真的需要很多特征，但是此方法会使某个特征 $\theta_j$ 的值减小，而且当特征数量很多时，正则化也能工作得很好。后面会具体阐述。

---

（二）误差函数(Cost Function)

现在我们就来讲一讲正则化(Regularization)。首先，看一下之前的两张图片：

上面的左图是一个恰当的拟合，其假设函数是一个二次函数(quadratic function)；而右图是过拟合的情况，其假设函数是一个四次函数(quartic function)。那怎么能够在不删除特征（不减少特征）的情况下，处理过拟合情况呢。方法如下：

假设我们的假设函数为 $h_\theta(x)=\theta_0+\theta_1x+\theta_2 x^2+\theta_3 x^3+\theta_4 x^4$ 。与左图相比，因为三次项和四次项导致了过拟合的现象，所以们可以惩罚三次项和四次项，具体方法是在误差函数中加入惩罚项：

$$J(\theta)=\frac{1}{2m}\left[ \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2+1000\theta_3^2+1000\theta_4^2 \right]$$ 其中1000是我任意写的一个比较大的数字。在加入惩罚项之后， 梯度下降就变成了： $$\begin{aligned} \theta_j &= \theta_j-\alpha\frac{\partial}{\partial\theta_j}J(\theta) \\ &=\theta_j-\alpha \frac{1}{m}\left[ \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\partial}{\partial\theta_j}(1000\theta_3^2+1000\theta_4^2)\right] \end{aligned}$$
因为我们要最小化 误差函数，所以在梯度下降开始到完成的过程中式子 $\alpha\frac{\partial}{\partial\theta_j}J(\theta)$ 会从某一个值趋近于0( 为何会收敛于0，我暂时不理解，不能证明)，完成时，就会有 $\theta_3\approx 0$ 和 $\theta_4\approx 0$ 。这就使得之前的 假设函数： $$\begin{aligned} h_\theta(x)&=\theta_0+\theta_1x+\theta_2 x^2+\theta_3 x^3+\theta_4 x^4 \\ &\approx \theta_0+\theta_1x+\theta_2 x^2 \end{aligned}$$ 至此，三次项和四次项的影响只占了很小一部分，正则化就使得过拟合的 假设函数变得不那么过拟合了。也许有人会问，为什么在误差函数后面加上对应的惩罚项，就能解决过拟合问题了？下面来解释一下。

以惩罚(penalize)三次项为例说说我个人的见解，对 $\theta_3$ 求偏导数：

$$\begin{aligned} \theta_3 &= \theta_3-\alpha\frac{\partial}{\partial\theta_3}J(\theta) \\ &=\theta_3-\alpha \frac{1}{m}\left[ \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})+\frac{\partial}{\partial\theta_3}(1000\theta_3^2+1000\theta_4^2)\right] \\ &=\theta_3-\alpha\frac{1}{m}\left[ \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}+2000\theta_3\right] \end{aligned}$$ 上面的式子可以写为： $$\theta_3=\theta_3(1-\alpha\frac{2000}{m})-\alpha\frac{1}{m} \sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$ 容易看出，当 $\theta_3$ 为正数的时候， $2000\theta_3$ 要远远大于 $\theta_3$ 本身，但是通常样本数量 $m$ 都非常的大，所以一般有： $(1-\alpha\frac{2000}{m})<1$ 。所以对于 $\theta_3$ 来说，它的减小的速度会较其他参数快一点。 至于为何最后会约等于0，我也实在摸不着头脑。以后搞懂再补充。

---

但是，通常情况下，我们可能无法提前知道到底是哪个参数（特征），或哪个项引起了过拟合。所以一般将除去 $\theta_0$ 之外的其他参数都正则化（因 $\theta_0$ 不是任何特征的参数，无必要正则化）：

$$J(\theta_0,\theta_1,...,\theta_j)=\frac{1}{2m}\left[ \sum_{i=1}^m (h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^n \theta_j^2 \right]$$ 注意上式中不包含 $\theta_0$ 。其中 $\lambda$ 称为 正则化系数(Regularization parameter)，这个 $\lambda$ 一般都是一个相对较大的数，其有两个作用，第一个是使得函数 $h_\theta(x)$ 能够很好地匹配训练集中的数据；另一个作用是使得所有的系数都比较小，以防止过拟合。

但是，当 $\lambda$ 过大时，会使得 $\theta_1\approx\theta_2\approx...\approx\theta_n\approx0$，使得假设函数 $h_\theta(x)\approx\theta_0$ ：

所以 $\lambda$ 过大也会产生欠拟合的现象。

---

三、正则化的线性回归(Regularized Linear Regression)

i.梯度下降(Gradient Descent)

正则化的梯度下降形式为：

$$\begin{align*} & \text{Repeat}\ \lbrace \newline & \ \ \ \ \theta_0 := \theta_0 - \alpha\ \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)} \newline & \ \ \ \ \theta_j := \theta_j - \alpha\ \left[ \left( \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{m}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2...n\rbrace\newline & \rbrace \end{align*}$$ 需要注意的是， $\theta_0$ 需要单独处理，因为我们不对其进行正则化。上面的第二个式子也可写作： $$\theta_j := \theta_j(1 - \alpha\frac{\lambda}{m}) - \alpha\frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)}$$ 前面的 $(1 - \alpha\frac{\lambda}{m})$ 是小于1的（原因前面已经提到过了），所以每次迭代 $\theta_j$ 都会乘以一个小数，然后再减去后面的部分。后面的求和部分和线性回归中相同。

---

ii.Normal Equation

正则化的Normal Equation的形式为：

$$\begin{align*} & \theta = \left( X^TX + \lambda \cdot L \right)^{-1} X^Ty \newline & \text{where}\ \ L = \begin{bmatrix} 0 & & & & \newline & 1 & & & \newline & & 1 & & \newline & & & \ddots & \newline & & & & 1 \newline \end{bmatrix} \end{align*}$$ 注意第一行第一列为0，是因为 $\theta_0$ 不需要正则化。另外关于矩阵不可逆的问题是因训练集数量小于特征数量，具体请参考 《机器学习笔记03》。

---

四、正则化的逻辑回归(Regularized Logistic Regression)

之前我们讲到过过拟合的现象：

假设函数为： $$J(\theta) = - \frac{1}{m} \sum_{i=1}^m \large[ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log (1 - h_\theta(x^{(i)})) \large]$$ 和逻辑回归类似，我们只要加上惩罚项就能避免过拟合： $$J(\theta)=- \frac{1}{m}\sum_{i=1}^m \large[ y^{(i)}\ \log (h_\theta (x^{(i)})) + (1 - y^{(i)})\ \log(1 - h_\theta(x^{(i)}))\large] + \frac{\lambda}{2m}\sum_{j=1}^n \theta_j^2$$ 其梯度下降的形式为： $$\begin{align*} & \text{Repeat}\ \lbrace \newline & \ \ \ \ \theta_0 := \theta_0 - \alpha\ \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)} \newline & \ \ \ \ \theta_j := \theta_j - \alpha\ \left[ \left( \frac{1}{m}\ \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{m}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2...n\rbrace\newline & \rbrace \end{align*}$$ 需要注意的是与线性回归不同，这里的 $h_\theta(x)=\frac{1}{1+e^{-\theta^TX}}$ 。

---

上面就是正则化、过拟合的大概内容，希望能帮助到大家。
如有错误，期望您能纠正，留言或者是加入QQ群
——–转载请注明出处——–