coursera_机器学习_吴恩达_week3（补充）

过拟合与正则化

---------------------------------------

提纲

--------------------------------------

1.1过拟合

1.2代价函数

1.3正则化线性回归

1.4正则化逻辑回归

-------------------------------------------

1.1 过拟合过程

什么是过拟合？先来看两个例子。

例1：

例2：

过拟合：如果我们有非常多的特性，那么所学习得到假设模型（hypothesis function）对训练集拟合得非常好，但是在新数据上泛化能力很差（即对新数据的预览效果不好）

如何解决过拟合？

1.2 代价函数

直觉上看，要想解决本例中过拟合问题，只要消除X³和X⁴的影响，即在代价函数中对Θ₃和Θ4在给予比较大的惩罚（系数大），这样在最小化代价函数时，Θ₃和Θ4约为0

1.3 正则化线性回归

1.4 正则化逻辑回归

工