【问题解决】训练和验证准确率很高,但测试准确率很低

前情提要:

采用ResNet50预训练模型训练自己的图像分类模型。训练和验证阶段准确率很高,但随机输入一张图片时,大多数情况下依旧预测得不准确。

(于是开始搜索各种“验证准确率高但测试准确率低”的原因……)

问题探索:

1.我原始的数据集仅有200张图片,因此做离线数据增强(对比度、饱和度、裁剪、翻转、变换颜色)来扩充数据集。网上说可能是数据增强做得太过了,导致训练集分布发生变化

但我觉得应该不至于,所以这个因素暂时pass

2.网上说可能过拟合

但验证准确率却很高啊,所以这个因素也暂时pass

3.突然刷到一篇文章!救我大命!万分感谢!

https://blog.csdn.net/qq_36949278/article/details/108930479?app_version=5.7.1&csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22108930479%22%2C%22source%22%3A%22ddddddggf%22%7D&ctrtid=kW0M8&utm_source=app

是因为读取图片的方式发生了变化。在训练模型时,我采用的是cv2.imread(),但调用训练好的模型做预测时采用的是PIL.Image.open()。而前者读取的色彩通道顺序为BGR,后者为RGB!!

于是修改预测时的图片读取方式,与训练阶段保持一致。但很奇怪,依旧不准确……

4.突然想到cv2无法读取中文路径。而我的数据集中的图片有一部分是中文命名的!虽然没有报错,但实际上是什么都没读到的,在print(img)时,结果为None。也就是说,我之前训练模型,完全是训练了个寂寞……

(成功近在眼前了!)

于是修改所有中文命名的文件名。(说个题外话,我在网上搜索了如何批量修改,但感觉依旧很麻烦,所以我完全是手动修改的呜呜呜,还好我的数据集中这样的图片不是特别多。)

修改完毕后,重新训练模型!成功了!

这是读取方式不同时的预测结果:

 这是读取方式相同时的预测结果:

准确率和训练阶段的基本相同~

### 验证集准确率高于训练集的原因 通常情况下,训练集上的表现应该优于验证集。然而,在某些特定场景下,可能会观察到验证集准确率反而更高于训练集的情况。 #### 过拟合现象的影响 当模型过度拟合训练数据时,会在训练集表现出极高的准确性,但在未见过的数据(如验证集)上性能下降。如果发现验证集准确度高于训练集,则可能意味着模型尚未完全过拟合训练样本[^1]。 #### 数据分布异 另一个原因是训练集验证集之间的数据分布可能存在轻微的不同之处。例如,如果有意或无意地使验证集中包含了相对容易分类的例子,那么即使模型不是特别复杂,也可能在这个子集上获得更好的成绩[^2]。 #### 正则化效果 正则化技术有助于防止过拟合并提高泛化能力。适当应用正则化手段可以在一定程度上降低训练的同时提升测试/验证阶段的表现。因此,经过良好调参后的模型有时能在验证集上取得更优的结果[^3]。 ```python from sklearn.model_selection import train_test_split, cross_val_score import numpy as np def evaluate_model_performance(model, X_train, y_train, X_valid, y_valid): # 计算训练集得分 train_accuracy = model.score(X_train, y_train) # 使用交叉验证评估验证集得分 valid_accuracies = cross_val_score(model, X_valid, y_valid, cv=5) print(f'Training Accuracy: {train_accuracy:.4f}') print('Validation Accuracies:', ' '.join([f'{acc:.4f}' for acc in valid_accuracies])) print(f'Mean Validation Accuracy: {np.mean(valid_accuracies):.4f}') # 假设已经定义好了model, X_train, y_train, X_valid y_valid... evaluate_model_performance(model, X_train, y_train, X_valid, y_valid) ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值