CIFAR-10 resnet18 炼丹指南

• 使用预训练模型，Adam，learning rate 1e-4，效果不好，不过也可能是我不够耐心
• Adam, learning rate 1e-5 40个epoch后loss是0.1，之后在0.9附近振荡，test acc只有58%
• 可能是没什么耐心，看网上都是几百个epoch而我看了几个epoch就想换了
• 发现了效果不好的原因，当loss从2下降到0.1后准确率仍然只有58%，认为是resnet18在32*32的图片上过拟合导致的，于是发现train的transform不够正则，所以增加了flip和crop，然后在服务器上使用adam优化器，1e-4的学习率，大约在50个epoch后就达到了80%的准确率，继续训练下去还能接着下降，因为此时loss还没有完全收敛，但是由于我的目的并不需要那么严格的准确率，训练到84%的准确率就停止了
• 另外，在服务器上用多卡训练保存参数时发现会在state_dict里面包上一层module，在这个blog里找到了解决方案