load预训练模型后,测试准确率很低问题自查

本文探讨了在神经网络量化过程中遇到的精度骤降问题,可能的原因包括:模型加载路径错误、数据集不匹配、训练时的最佳准确率不符、模型结构不兼容及学习率设置不当。解决策略涉及检查模型路径、验证数据集、对比训练时的准确性以及考虑模型结构和学习率调整。
摘要由CSDN通过智能技术生成

今天遇到了这样一个问题,做神经网络量化的过程中,load训练好的高精度模型作为pretrain model,然后立即test accuracy为10%,以下为几个可能出现问题的点:

  1. 查看load模型的路径有无问题
  2. 查看加载的数据集有无问题(有时会出现用svhn数据集去验证cifar10数据集的事件)
  3. 查看load模型当时在训练时的acc:
info = torch.load('modelpath')
info.keys() # 列出保存checkpoints时的所有参数,包括best_acc
info['best_acc']
  1. 由于预训练模型定义与当前训练模型定义差别较大(如直接将一个全精度的模型参数load到binary neural network里),导致未经fine-tune的情况下,采用new model去inference的精度远远低于原始模型的精度。

如果无以上问题,但训练结果不太好,还可以看一下脚本中的学习率设置。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值