验证集精度高于训练集精度的原因

1. 训练集的数据做了一系列的增广，如旋转，仿射，模糊，添加噪点等操作；过多的增广使得训练集分布产生了变化。
2. 模型正则化过多，比如训练时dropout过多，和验证时的模型相差较大，验证时是不会有dropout的。
3. 训练的精度是每个batch产生的，而验证的精度一般是一个epoch后产生的，验证时的模型是训练一个个batch之后的，有一个的滞后性；可以说训练得差不多的模型用来验证，当然精度要高一点。