深度学习中的方差与偏差问题

高偏差就对应于模型欠拟合，网络不能很好的拟合训练集上的数据，导致网络在训练集上的准确率很低，可以通过增加模型的复杂度来解决这个问题。

高方差就对应于模型过拟合，网络过于拟合训练集上的数据，导致网络的训练集上表现的很好，但是在验证集上的效果很差，一般可以通过增大数据集，或者选用参数较少的模型来解决问题，也可以采用正则化的方法来减少过拟合。下面的图是吴恩达神经网络课程中关于这个问题的图片。