1.问题描述
最近利用ResNet18网络做分类问题时,训练集准确率一直在上升,测试集的准确率确几乎没有变化。数据集用的是flowers102,为了完成102种的问题,只对Pytorch内置的ResNet18最后一层做了修改。
class ResNet18(nn.Module):
def __init__(self):
super(ResNet18,self).__init__()
self.resnet = nn.Sequential(*list(models.resnet18(pretrained=True).children())[:-1])#舍弃原网络中的最后一层
self.fc = nn.Linear(in_features=512,out_features=102)
def forward(self,x):
x = self.resnet(x)
x = x.view(x.shape[0], -1)
x = self.fc(x)
return x
训练过程如下:
可以看到在训练过程中,训练集的损失函数正常下降,准确率也在上升,但在测试集上几乎没有变化。尝试了网上的许多方法都没有奏效。
2.解决办法
最后发现问题出在了数据增强这一块,主要是粗心导致的。将图片缩放时,训练集图片尺寸缩放到28*28,而测试集是256*256,但是在裁切时都裁切的是244*244(在裁切训练集照片时,并没有报错,可能是对图片进行了填充)。
#训练集增强
transforms.Resize(28),
transforms.CenterCrop(224),
#测试集增强
transforms.Resize(256),
transforms.CenterCrop(224),
这样导致增强后的训练集和测试集数据完全是两类图,所以模型在测试集上表现很差!
保证两个数据集在增强时缩放和裁切相同即可!