过拟合、欠拟合、高偏差、高方差

过拟合

在训练样本上误差较小，在验证集上误差较大

解决办法：

1. 添加正则项（or 提高正则项系数）

2. 增加数据规模

3. 特征降维

4. dropout

5. pooling

6. batch normalization 

欠拟合

在训练样本和验证集上误差都教大

解决办法：

1. 减小正则项系数

2. 特征维度增加

3. 添加高次多项式特征

偏差、方差

高偏差，高方差

高偏差=欠拟合：就是对所有的数据，不管是训练集还是验证集，预测结果与真实结果都有较大的偏差

高方差=过拟合：就是训练集的时候偏差较小，但验证集上偏差较大，所以波动较大，即方差较大