深度学习中的常见优化问题

1. 偏差与方差

区分偏差和方差，我们可以看训练集上的误差和验证集上的误差。

• 训练集的误差低，验证集的误差高，表现为高方差，可能是过拟合了
• 训练集的误差高，验证集与训练集的误差与训练集误差相当，表现为高偏差，可能是欠拟合了

如图所示：

直观看，红点表示真实值的范围，蓝点表示预测。

• 当蓝点特别聚集时，表示低方差，当蓝点特别稀疏时，表示高方差
• 当蓝点特别接近红点时，表示低偏差；反之，表示高偏差

方差和偏差的取值在什么时候，模型是最好的呢？

如图，当方差和偏差都比较低时，可以取得最好的模型。

正则化

正则化相当于加了一个惩罚因子，使得参数w趋于0左右，如图：