我的机器学习之路 第六关

六、正则化

1.过拟合问题

  为了拟合数据，在假设函数中设置了过多的变量，可以使
J(θ)接近于0，但模拟出来的曲线为非凸曲线，不能更好的泛
化到新样本中

2.解决过拟合的方法：

减少变量数
正则化

3.正则化

 当假设函数过拟合时，为了使曲线更光滑，在J(θ)中加上
一个正则化项： λ/(2m)*∑θi^2   (约定θi从θ1开始)
   这样可以将所有的θ进行缩小

（1）正则化线性回归

代价函数：J(θ)=(1/2m)*∑(h(x) - y(i))^2+ λ/(2m)*∑θi^2 
   在梯度下降法中的应用：求偏导数那里的J(θ)里换成新J(θ)
   在正规方程中的应用：在原来的Θ=(X^T*X)^-1*X^T*Y的括号中加上一个第一个元素是
                     0的λ倍的单位矩阵 

（2）正则化logistic回归

代价函数：J(θ)=1/m*∑{-y'log(h(x))-(1-y')log(1-h(x))}+λ/(2m)*∑θi^2
   在梯度下降法中的应用：求偏导数那里的J(θ)里换成新J(θ)