当CNN训练时，有时验证集准确率高于训练集可能源于数据集切分不均或Dropout策略。数据集过小且分布不均可能导致训练集内部方差大，误差增加。Dropout在训练时降低单个分类器准确性，但在测试时所有分类器联合提升整体精度。本例中，dropout设为0.7和小数据集是关键因素。
如下图： 
或者：
如上图所示，有时候我们做训练的时候，会得到测试集的准确率或者验证集的准确率高于训练集的准确率，这是什么原因造成的呢？经过查阅资料，有以下几点原因，仅作参考，不对的地方，请大家指正。
（1）数据集太小的话，如果数据集切分的不均匀，或者说训练集和测试集的分布不均匀，如果模型能够正确捕捉到数据内部的分布模式话，这可能造成训练集的内部方差大于验证集，会造成训练集的误差更大。这时你要重新切分数据集或者扩充数据集，使其分布一样
（2）由Dropout造成，它能基本上确保您的测试准确性最好，优于您的训练准确性。Dropout迫使你的神经网络成为一个非常大的弱分类器集合，这就意味着，一个单独的分类器没
1万+
760
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
