【机器学习】欠拟合、过拟合及其解决思路

why?

在训练之前没人能得知训练数据集的"复杂程度"。在线性回归中，就是说对于一个训练数据集，在训练之前，我们不知道使用几维参数才能得到拟合度最优的假设函数，即多项式有多少项不确定。

示例

回归：

左图：欠拟合

中间：拟合

右图：过拟合

分类：

左图：欠拟合

中间：拟合

右图：过拟合

缺点

过拟合：训练效果好，但是预测未知数据时效果差

欠拟合：训练已知数据和预测未知数据都差

解决方法

1.调整假设函数的参数维度，直到得到最优拟合

    1）可以通过增加参数个数，矫正欠拟合

    2）可以通过减少参数个数，矫正过拟合

2.调整多项式维度，直到得到最优拟合

    1）加入高阶多项式，矫正欠拟合

    2）降低高阶多项式，矫正过拟合

3.调整正则化参数

    不调整模型函数的参数维度以及多项式维度时，只是通过调整正则化参数也可以矫正过拟合以及欠拟合

(end)