机器学习中的过拟合、欠拟合问题

以线性回归和逻辑回归来实际看一下什么是过拟合问题

 

线性回归

线性回归是使用多项式来拟合变量之间的关系，从而可以根据某些变量来预测另外的变量。

图中的一个红叉叉描述了一个关系实例，横轴代表房子面积，纵轴代表房子的面积。

最左边的图是使用一次多项式来拟合两个变量之间的关系，我们可以直观的感受到直线并不能很好的描述两个变量之间的关系，主要原因就是一次多项式的表达力不够，这个现象叫做欠拟合。

然后直接来看最右边的图，我们使用一个4次多项式来拟合两个变量之间的关系，这条曲线完美的通过了所有的样例点，但是这种扭扭曲曲的线条并不一定适用于未出现的样例点，只是很强的拟合了现有的数据，所以我们把这个情况称作过拟合（over fitting）

 

 逻辑回归

首先声明逻辑回归是一个分类问题，这个令人捉摸不透的叫法需要从很久很久以前说起。。。。。。所以就不说了

逻辑回归的本质是找到决策边界

主要参考自 吴恩达的机器学习视频  https://www.bilibili.com/video/BV164411b7dx?p=39