一、学习内容
模型训练与验证
1、在训练集上进行训练,并在验证集上进行验证
首先需要构造验证集,本赛题已经将训练集和验证集分开。验证集的划分一般有3种方法。
a.留出法
一般地,可以取训练集的30%左右作为训练集,用于调整模型的超参数。
b.交叉验证法
将训练集划分成K份,将其中的K-1份作为训练集,剩余的1份作为验证集,循环K次训练
c.自助采样法
有放回的采样
2、保存最优权重,并读取权重
torch.save(model.state_dict(),‘model.pt’)
torch.load(‘model.pt’)
3、记录训练集和验证集的精度,便于调参
train_loss,val_loss,val_acc
也可以画出曲线,便于观察
4.代码实践
model = SVHN_Model1()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
# 是否使用GPU
use_cuda = False
if use_cuda:
model = model.cuda()
for epoch in range(10):
train_loss = train(train_loader, model, criterion, optimizer, epoch)
val_loss = validate(val_loader, model, criterion)
val_label = [''.join(map(str, x)) for x in val_loader.dataset.img_label]
val_predict_label = predict(val_loader, model, 1)
val_predict_label = np.vstack([
val_predict_label[:, 6:17].argmax(1),
val_predict_label[:, 17:28].argmax(1),
val_predict_label[:, 28:39].argmax(1),
val_predict_label[:, 39:50].argmax(1),
val_predict_label[:, 50:61].argmax(1),
]).T
val_label_pred = []
for x in val_predict_label:
val_label_pred.append(''.join(map(str, x[x != 10])))
val_char_acc = np.mean(np.array(val_label_pred) == np.array(val_label))
print('Epoch: {0}, Train loss: {1} \t Val loss: {2}'.format(epoch, train_loss, val_loss))
print('Val Acc', val_char_acc)
# 记录下验证集精度
if val_loss < best_loss:
best_loss = val_loss
# print('Find better model in Epoch {0}, saving model.'.format(epoch))
torch.save(model.state_dict(), './model.pt')
二、小结
先把模型调通,跑几个epoch,观察train_loss、val_loss的变化情况。再通过数据增强,调整学习率等方法进一步调参,也可以调整改进模型,进一步提高精度。