yolo-tiny在训练过程中出现的loss不断下降,val_loss为nan的问题
在使用yolo-tiny模型训练自己的数据时,出现了这样的问题
找了很多博客没有找到解决方法,减小学习率增大batch_size等等通通不管用
loss下降,val_loss下降:训练网络正常,最好情况。
loss下降,val_loss稳定:网络过拟合化,可以使用正则化和Max pooling。
loss稳定,val_loss下降:数据集有严重问题,建议重新选择。
loss稳定,val_loss稳定:学习过程遇到瓶颈,需要减小学习率或批量数目,可以减少学习率。
loss上升,val_loss上升:网络结构设计问题,训练超参数设置不当,数据集经过清洗等问题,最差情况
后来看到了这个,想了下,可能原因是我的数据集太小了,总共只有300张图片,8成测试也就是200多张,导致模型过拟合了…
还没找打解决方法,准备试试增加数据集会怎么样
在tiny中,第一轮是冻结前42层,训练高维度特征,猜想有可能是因为图片没有高维度特征导致的,第二轮训练正常
可以通过舍弃预训练权重解决这个问题。
哪位大神要是知道其他的什么原因请一定告诉我
注:给自己记一下这个
val_loss是验证集上的损失值,
val_acc是验证集上的准确率,
train_loss是训练集上的误差
test_loss是测试集上的损失。
train loss 不断下降,test loss不断下降,说明网络仍在学习;
train loss 不断下降,test loss趋于不变,说明网络过拟合;
train loss 趋于不变,test loss不断下降,说明数据集100%有问题;
train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批量数目;
train loss 不断上升,test loss不断上升,说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。