目录
bias or variance and neural network
baseline
对于这个图中,我们如何判断它是high vias还是high variance。通过与人类的性能进行对比,发现,Jtrain与人类相差0.2,Jcv与Jrain相差4.2,所以可以判断这是high variance。
最常用的一种baseline是人类为标准,有时候对于一些算法,也可以以之前的算法或者竞争算法为baseline。
前两个对比,使你知道是否有high bias的问题,后两个对比,使你知道是否有high variance的问题。
学习曲线
Jcv的train越大,模型学习的越多,loss越低。对于训练集来说,尺寸越大,越不容易拟合的很好。前三个样本拟合的很好,但是后面几个随着样本数量增加,模型的损失不再接近于0。
下一步怎么调整 ![](https://img-blog.csdnimg.cn/d157684c599f42ea8955a9cdd6815317.png)
不要轻易减少训练集的大小,在cv上的性能会下降。
bias or variance and neural network
更大的网络可能是增加隐藏层或者每一层的单元。