【AndrewNg机器学习】正则化(Regularization)

1 过拟合问题

如下图所示的回归问题，第一个模型是线性模型，欠拟合，不能很好地适应训练集；第三个模型就属于过拟合，太过于强调训练数据，而不能推广到新的数据，进行对新数据的预测。中间的模型最为合适。

同样的，在分类问题中也有这种现象：

如何处理过拟合问题：

• 丢弃一些不能帮助我们正确预测的特征。可以手工选择保留哪些特征，或使用模型算法来帮忙
• 正则化，保留所有的特征，但是减少参数的大小

2 正则化

在上面的回归问题中我们的过拟合模型为：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_3+{\theta }_4{x}_4$
可以看出，正是高次项导致了过拟合的产生，如果我们能让这些高次项接近0的话，就可以解决这个问题。所以我们要在一定程度上减小${\theta }_3,{\theta }_4$的大小，即在代价函数上进行修改，在${\theta }_3,{\theta }_4$上设置惩罚：$$\underset{\theta }{\min }\frac{1}{2m}[\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2+1000{\theta }_3^2+10000{\theta }_4^2]$$通过这样的代价函数，得到的${\theta }_3,\theta$