机器学习学习笔记（六）——正则化

正则化

过拟合问题

在样本的特征阶数过高或者特征数量过多的情况下可能会出现过拟合问题，其表现是拟合曲线可能会完美的通过各个点，但拟合曲线没有普遍性，扭扭曲曲的，对于新的变量预测能力较差。

解决的办法是：

1. 减少变量
2. 正则化

正则化

正则化的方法是加入惩罚项，使一些无关紧要的变量趋近为0。

线性回归的正则化

代价函数

$$J(\theta )=\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^i)-y^i{)}^2+\lambda \sum _{j=1}^n{\theta }_j^2$$

梯度下降

$${\theta }_j:={\theta }_j-\alpha (\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^i)-y^i)x_j^i+\frac{\lambda }{m}{\theta }_j)$$

正规方程

$$\Theta =(X^{T}X+\lambda \left\{\begin{array}{cccc}0& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \cdots & 0\\ 0& 0& \cdots & 1\end{array}\right\}{)}^{-1}{X}^{T}y$$

其中$\left\{\begin{array}{cccc}0& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \cdots & 0\\ 0& 0& \cdots & 1\end{array}\right\}$表示第一行全0第一列全0其余为单位矩阵的n+1方阵。

逻辑回归的正则化

代价函数

$$J(\Theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}log(h_{\Theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\Theta }(x^{(i)}))+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$

梯度下降

$${\theta }_j:={\theta }_j-\frac{\alpha }{m}\left[\sum _{i=1}^m(h_{\Theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\lambda {\theta }_j\right]$$