[模型优化]模型欠拟合及过拟合判断、优化方法

目录

一、模型欠拟合及过拟合简介

二、模型欠拟合及过拟合判断

三、模型欠拟合与过拟合的优化方法

1、模型欠拟合

2、模型过拟合

---

一、模型欠拟合及过拟合简介

模型应用时发现效果不理想，有多种优化方法，包含：

 

• • 添加新特征
  • 增加模型复杂度
  • 减小正则项权重
  • 获取更多训练样本
  • 减少特征数目
  • 增加正则项权重

 

具体采用哪种方法，才能够有效地提高模型精度，我们需要先判断模型是欠拟合，还是过拟合，才能确定下一步优化方向。

 

                                   图1

模型欠拟合，即高偏差（high bias），是指模型未训练出数据集的特征，导致模型在训练集、测试集上的精度都很低。如图1左图所示。

模型过拟合，即高方差（high variance），是指模型训练出包含噪点在内的所有特征，导致模型在训练集的精度很高，但是应用到新数据集时，精度很低。如图1右图所示。

 

 

二、模型欠拟合及过拟合判断

1、数据集划分

数据集划分为训练集（Trai