吴恩达机器学习笔记4——正则化

1.加入惩罚因子

（1）多项式的例子

比如加1000θ3^2…
那么为了使得下面这个加入惩罚项的式子min，就会尽量使得θ3.θ4趋近于0，这就相当于由拟合的右图的式子高次幂，变成了拟合为二次式。

（2）housing 例子

一般来说，θ取尽量小的值，会使得假设函数更加简单，也会更易避免过拟合。

上图举的例子多项式例子不同，我们并不知道θ1—θn谁是高阶项，谁是相关度较低的，也就不知道该选出哪些参数来缩小他们的值。

因此我们只能修改代价函数，来缩小所有的θ，加入了θ的正则项。这一项的作用是缩小每个参数

一般来说，只对θ1—θn加正则项，θo不加。（约定俗成，即使加上θo也没关系）

λ：正则化参数
λ的作用：控制两个不同目标之间的取舍，控制两个目标的平衡关系
目标1：通过训练更好的拟合数据
目标2：保持参数尽可能的小
λ太大：对于θ的惩罚程度太大，这个θ的值接近于0，相当于忽略了假设函数的所有项，最后只剩下一个θo，相当于用了个横线拟合数据，欠拟合。

因此，合适的λ是很重要的！如何自动选择λ，之后再说