系列文章
天池CV赛事-街景字符编码识别(一) —— 赛题理解
天池CV赛事-街景字符编码识别(二) —— 数据读取与数据扩增
天池CV赛事-街景字符编码识别(三)—— 字符识别模型
天池CV赛事-街景字符编码识别(四)—— 模型训练与验证
天池CV赛事-街景字符编码识别(五)—— 模型集成
四、模型训练与验证
4.1 模型训练
构造训练集和验证集,每轮进行训练和验证,并根据最优验证集精度保存模型
train_loader = torch.utils.data.DataLoader(
train_dataset,
batch_size=10,
shuffle=True,
num_workers=10,
)
val_loader = torch.utils.data.DataLoader(
val_dataset,
batch_size=10,
shuffle=False,
num_workers=10,
)
model = SVHN_Model1()
criterion = nn.CrossEntropyLoss (size_average=False)
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
for epoch in range(20):
print('Epoch: ', epoch)
train(train_loader, model, criterion, optimizer, epoch)
val_loss = validate(val_loader, model, criterion)
# 记录下验证集精度
if val_loss < best_loss:
best_loss = val_loss
torch.save(model.state_dict(), './model.pt')
每个Epoch的训练代码
def train(train_loader, model, criterion, optimizer, epoch):
# 切换模型为训练模式
model.train()
for i, (input, target) in enumerate(train_loader):
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2]) + \
criterion(c3, data[1][:, 3]) + \
criterion(c4, data[1][:, 4]) + \
criterion(c5, data[1][:, 5])
loss /= 6
optimizer.zero_grad()
loss.backward()
optimizer.step()
每个Epoch的验证代码
def validate(val_loader, model, criterion):
# 切换模型为预测模型
model.eval()
val_loss = []
# 不记录模型梯度信息
with torch.no_grad():
for i, (input, target) in enumerate(val_loader):
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2]) + \
criterion(c3, data[1][:, 3]) + \
criterion(c4, data[1][:, 4]) + \
criterion(c5, data[1][:, 5])
loss /= 6
val_loss.append(loss.item())
return np.mean(val_loss)
4.2 模型加载和保存
torch.save(model_object.state_dict(), ‘model.pt’)
model.load_state_dict(torch.load(’ model.pt’))
4.3 模型调参流程
- 初步构建简单的CNN模型,不用特别复杂,跑通训练、验证和预测的流程;
- 简单CNN模型的损失会比较大,尝试增加模型复杂度,并观察验证集精度;
- 在增加模型复杂度的同时增加数据扩增方法,直至验证集精度不变。
深度学习有众多的训练技巧,比较推荐的阅读链接有:
http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html
http://karpathy.github.io/2019/04/25/recipe/
推荐阅读:
Python+OpenCV图像处理基础知识