机器学习—正则化

正则化

往期内容

1. 单变量线性回归
2. 多变量线性回归
3. 逻辑回归

欠拟合和过拟合

欠拟合（underfutting）： 训练出来的模型不能很好地适应训练集，也就是说在训练集和交叉验证集中，模型都表现得不够好。如图(a)。

过拟合（overfitting）： 模型过于强调拟合原始的训练集数据，最终表现为在训练集上拟合得很好，但是在交叉验证集上拟合得很差。如图(c)。通常，解决过拟合的方法有：主成分分析（丢弃一些特征）、正则化（减少参数大小）。

正则化

模型举例

  对于如下模型，常常会因为高次项而过拟合：
$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2^2+{\theta }_3{x}_3^3+{\theta }_4{x}_4^4$$
为例降低高次项的影响，改善过拟合程度，可以通过正则化引入正则化参数（$\lambda$）对模型参数进行惩罚。修改后的代价函数如下：
$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$$
注意：①这里不对${\theta }_0$进行惩罚
   ②$\lambda$过大，会把所有的参数最小化，导致模型最后变成$h_{\theta }(x)={\theta }_0$，会造成欠拟合；$\lambda$过小，又会使参数得不到抑制。所以，在进行正则化前，要选取一个合理的$\lambda$值。

正则化线性回归

代价函数

$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m[(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2]$$

梯度下降

$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_0^{(i)}$$ $${\theta }_j:={\theta }_j(1-\alpha \frac{\lambda }{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_j^{(i)}$$

正则化逻辑回归

代价函数

$$J(\theta )=\frac{1}{m}\sum _{i=1}^m[-y^{(i)}\log (h_{\theta }(x^{(i)}))-(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

梯度下降

$${\theta }_0:={\theta }_0-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_0^{(i)}$$ $${\theta }_j:={\theta }_j(1-\alpha \frac{\lambda }{m})-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})\cdot x_j^{(i)}$$