过拟合与欠拟合

过拟合与欠拟合

过拟合有较为明显的对比可以判断，但欠拟合却是不容易判断的。
训练集效果很好，测试集效果变差，在保证训练集与测试集样本分布一致的情况下，很容易得出过拟合的结论。
欠拟合不太容易通过这种直接的对比来判断。

学习曲线

Validation Curve

一个良好的模型是拥有好的泛化能力。为了评估模型，我们需要一个metric，也就是一个scoring function，比如accuracy，precision。选择多个超参数的方法有GridSearchCV或RandomiedSearchCV，但是在选择的超参数是基于validation set的上得分。如果我们是根据validation set上的得分来优化超参数，则验证分数会有偏差，就不再是对泛化能力的良好估计。理论上，为了得到对泛化能力的正确估计，必须在另一个测试集上计算得分。
然而，有时候绘制单个超参数的training score和validation score可以判断模型的状态，是过拟合还欠拟合。
如下图，是使用SVC手写数字识别的多分类问题，横坐标代表超参数gamma的大小，y代表得分，分别有training score和cross-validation score。根据位置来判断：A、B代表欠拟合，C代表正好，D代表过拟合。

学习曲线判断模型状态：欠拟合 or 过拟合

loss变化

copc