[深度之眼机器学习训练营第四期]过拟合与正则化

基本概念

机器学习模型面临的两个主要问题是欠拟合与过拟合。欠拟合，即模型具有较高的偏差，说明模型没有从数据中学到什么，如下左图所示。而过拟合，即模型具有较高的方差，意味着模型的经验误差低而泛化误差高，对新数据的泛化能力差，如下右图所示。

通常，欠拟合是由于模型过于简单或使用数据集的特征较少导致的。相反，过拟合则是模型过于复杂或特征过多引起的。欠拟合的问题比较容易解决，而过拟合的问题则有些棘手。一般而言，解决过拟合的方法包括降维和正则化。

正则化损失函数

正则化是通过向损失函数中添加惩罚项以限制参数大小的一种方法。假设我们有如下多项式线性回归模型：
$$h_{\theta }(x){\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+{\theta }_3{x}^3+{\theta }_4{x}^4$$
为了避免模型过于复杂，我们需要削弱${\theta }_3{x}^3$和${\theta }_4{x}^4$对模型的影响。因此，我们需要对这两项进行“惩罚”，避免它们过大。所以，我们把这两个参数乘以一个较大的系数，加到损失函数中：
$$\underset{\theta }{\min }\frac{1}{2n}\sum _{i=1}^n\left(h_{\theta }(x^{(i)})-y^{(i)}\right)+1000\cdot {\theta }_3^2+1000\cdot {\theta }_4^2$$
这样一来，为了求解损失函数的最小值，式中${\theta }_3$和${\theta }_4$的值就不能过大，也就限制了模型的复杂度。如果要限制所有的参数，那么损失函数就是下面这种形式：
$$\underset{\theta }{\min }\frac{1}{2n}\sum _{i=1}^n\left(h_{\theta }(x^{(i)})-y^{(i)}\right)+\lambda \sum _{j=1}^d{\theta }_j^2$$
其中$\lambda >0$是正则化参数。下面，我们将正则化应用到之前所学的线性回归和对数几率回归中。

线性回归

梯度下降法

损失函数：
$$J(\theta )=\frac{1}{2n}\left[\sum _{i=1}^n{\left(h_{\theta }(x^{(i)})-y^{(i)}\right)}^2+\lambda \sum _{j=1}^d{\theta }_j^2\right]$$
今天懒得推导了（其实这个和不带正则化项的推导差不多），直接写更新方程吧：
Repeat  {      θ 0 ≔ θ 0 − α   1 n   ∑ i = 1 n ( h θ ( x ( i ) ) − y ( i ) ) x 0 ( i )      θ j ≔ θ j − α   [ ( 1 n   ∑ i = 1 n ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) ) + λ n θ j ]            j ∈ { 1 , 2... d } } \begin{aligned} & \text{Repeat}\ \lbrace \\ & \ \ \ \ \theta_0 \coloneqq \theta_0 - \alpha\ \frac{1}{n}\ \sum_{i=1}^n (h_\theta(x^{(i)}) - y^{(i)})x_0^{(i)} \\ & \ \ \ \ \theta_j \coloneqq \theta_j - \alpha\ \left[ \left( \frac{1}{n}\ \sum_{i=1}^n (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} \right) + \frac{\lambda}{n}\theta_j \right] &\ \ \ \ \ \ \ \ \ \ j \in \lbrace 1,2...d\rbrace\\ & \rbrace \end{aligned} ​Repeat {    θ0​:=θ0​−α n1​ i=1∑n​(hθ​(x(i))−y(i))x0(i)​    θj​:=θj​−α [(n1​ i=1∑n​(hθ​(x(i))−y(i))xj(i)​)+nλ​θj​]}​          j∈{1,2...d}​

正规方程法

$$\begin{array}{rl}& \theta ={\left(X^{T}X+\lambda \cdot L\right)}^{-1}{X}^{T}y\text{, where}L={\left[\begin{array}{ccccc}0& & & & \\ & 1& & & \\ & & 1& & \\ & & & \ddots & \\ & & & & 1\end{array}\right]}_{(d+1)\times (d+1)}\end{array}$$
$X^{T}X+\lambda \cdot L$这个东西必定可逆。

首先，因为${\vec{u}}^T{A}^{T}A\vec{u}=\Vert A\vec{u}{\Vert }^2\ge 0$，所以$A^{T}A$是半正定矩阵，即$A^{T}A$的所有特征值${\mu }_i\ge 0$。由$A^{T}A\vec{u}={\mu }_i\vec{u}$可以推出$(A^{T}A+\lambda I)\vec{u}=({\mu }_i+\lambda )\vec{u}$，因此$A^{T}A+\lambda I$的特征值为${\mu }_i+\lambda$。又因为$\lambda >0$，所以${\mu }_i+\lambda >0$。由于$A^{T}A+\lambda I$的所有特征值都是大于$0$的，因此矩阵$A^{T}A+\lambda I$一定可逆。

对数几率回归

损失函数：
$$J(\theta )=-\frac{1}{n}\sum _{i=1}^n\left[y^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))+\frac{\lambda }{2}\sum _{j=1}^d{\theta }_j^2\right]$$
更新方程与线性回归类似，这里就不写了。