- 博客(2)
- 收藏
- 关注
RSS订阅原创 为什么我的网络不管输入什么都预测成同一个类别——考古有感
结果最近在进行部分cv算法的考古，已经扒到了googlelenetv1，复现完在cifar100上浅跑了10轮，发现交叉熵岿然不动，并且验证集所有图片的预测类别全部是23（准确率当然就是1%钉死），查阅了半天csdn发现无外乎也就那三种说法——看看数据集，看看网络结构，看看损失函数，那这三个都没问题怎么办？，奇迹发生了，但是只发生了一部分，10轮后的准确率来到了8%，可能跟LRN层先天局限以及帖主完全不通参数配置又懒得调参有关，但终于不是1%了，当然都8%了输出肯定不会像之前那样全都是一个类别。
2024-10-17 22:32:21
736
原创 YOLO调参后结果波动大的一个可能原因
采用1e-3这种偏大的学习率时，尚且能够部分抵消这巨大的惯性，因而表现出剧烈的震荡，当改用3e-4这种偏小的学习率时，甚至无法短时间内抵消这份惯性，随着学习率的衰减，自然而然便陷入了局部最优。直到后面看到这个图，发现warmup对网络的收敛性能影响比想象中的大很多，于是细致地过了一遍超参数，发现原始网络的warmup_bias_lr为0.1，在使用AdamW的情况下这显然高到无法接受，于是果断改0.01，验证集波动的情况有了较大的缓解（如下图），至少是稳步上升的情况。学习率换3e-4的时候也可以正常收敛。
2024-02-09 18:02:53
992
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人