2019.4.28

过拟合问题
机器学习训练的目的是为了让模型更好的拟合实际情况，从而让我们进行预测。评价一个模型拟合度是否优良的参考之一是它与实际数据集的偏差程度，我们用代价函数来定量，一般代价函数越小越好。
分别使用了不同次数的多项式进行拟合，性回归模型下，模型预测与数据集有一些差距，但是大方向是不错的，二次多项式模型下，模型与数据集的偏差更小了，模型曲线光滑平整；四次多项式模型下，模型与数据集完全对应上，没有偏差，但是曲线歪曲，在大方向上似乎并不是特别准。

逻辑回归
一次多项式简单地划分了两个类型，但是有对应不上的；二次多项式的拟合度更好，但是仍有偏差；四次多项式通过歪曲的形状，成功地拟合了数据集中的数据。
我们可以由两种解决方案：
人为地或者通过模型选择则算法来减少特征。
正则化，这种方法能保留住所有的特征量。

我们无法知道哪一项需要惩罚，因此我们将每一项都加入优化中，得到新的代价函数，在原有的代价函数基础上加入一个正则化项，λ是正则化参数：

一个较小的θ值说明这是一个更简单的假设模型，也就更不容易过拟合。