目前在训练结束之后发现使用train和eval跑出来的结果很差。于是做了以下测试:
1.为避免问题是过拟合导致的,于是在训练集上使用eval发现替换model.train与model.eval差别很大。并且使用train与训练时计算的loss也有比较大的差距。
2.为避免代码造成的问题,于是将train.py基础上去掉后向传播和模型保存部分,结果与上述一致。
3.根据网上的一些办法,使用以下函数冻结bn层:结果保持不变
def freeze_bn(m):
classname = m.__class__.__name__
if classname.find('BatchNorm') != -1:
m.momentum=1
#m.track_running_stats = False
#m.eval()
4.数据处理时加入归一化重新训练,结果表现依然不变
5.将验证时的dropout的概率置0,结果保持不变
backbone使用了resnet,显卡原因batchsize只能到8,我现在这个问题有大佬能帮忙解决吗,感激不尽