吴恩达机器学习课程笔记5——过拟合和正则化

过拟合问题

过度拟合：就是我们拟合一个高阶多项式，这个假设函数几乎可以拟合所有的数据，但是这个假设函数太过庞大，数量太大导致我们没有足够的数据去约束它。
这幅图是以线性回归为例子，第一张图是欠拟合（高偏差），可以看出来它没有很好的拟合数据。第二张图拟合效果刚刚好。第三张图，就是过度拟合（高方差）。
这幅图是以逻辑回归为例子，同样是欠拟合、恰好拟合、和过度拟合。

那么怎样解决过度拟合的问题呢？主要有两类方法：
第一类：减少我们选取变量的数量。
第二类：正则化。就是保留所有的特征变量，但是减少它们的量级或者参数的大小。（适合每一个变量都有用的情况）

正则化

我们刚刚提到正则化，那么怎样进