机器学习笔记（四）吴恩达课程视频（正则化）

正则化

1.过拟合

回归问题：第一个为欠拟合，第三个为过拟合，中间效果最合适。

分类问题：同上也存在欠拟合、过拟合问题

解决办法：

<1> 丢弃一些不能帮助我们正确预测的特征:可以是手工选择保留那些特征，也可以使用一些模型选择的算法来帮忙（如PCA）

<2>正则化：保留所有特征，但是减小参数的大小（magnitude）

2.代价函数

使系数比较大的项的参数尽可能小，也就是在该项的前加一个比较大的数，算法就会是得到的结果中该项的非常小，但是如果

要选择一个合理的值。

3.正则化线性回归

在使用梯度下降法领代价函数最小化时，因为未对项进行正则化，所以梯度下降算法分为两种情形

正规方程法求解正则化线性回归模型：

4.正则化逻辑回归（逻辑分类）

代价函数：