天池CV赛事-街景字符编码识别（四）—— 模型训练与验证

---

系列文章
天池CV赛事-街景字符编码识别（一） —— 赛题理解
天池CV赛事-街景字符编码识别（二） —— 数据读取与数据扩增
天池CV赛事-街景字符编码识别（三）—— 字符识别模型
天池CV赛事-街景字符编码识别（四）—— 模型训练与验证
天池CV赛事-街景字符编码识别（五）—— 模型集成

---

四、模型训练与验证

4.1 模型训练

构造训练集和验证集，每轮进行训练和验证，并根据最优验证集精度保存模型

train_loader = torch.utils.data.DataLoader(
    train_dataset,
    batch_size=10, 
    shuffle=True, 
    num_workers=10, 
)
    
val_loader = torch.utils.data.DataLoader(
    val_dataset,
    batch_size=10, 
    shuffle=False, 
    num_workers=10, 
)

model = SVHN_Model1()
criterion = nn.CrossEntropyLoss (size_average=False)
optimizer = torch.optim.Adam(model.parameters(), 0.001)
best_loss = 1000.0
for epoch in range(20):
    print('Epoch: ', epoch)

    train(train_loader, model, criterion, optimizer, epoch)
    val_loss = validate(val_loader, model, criterion)
    
    # 记录下验证集精度
    if val_loss < best_loss:
        best_loss = val_loss
        torch.save(model.state_dict(), './model.pt')

每个Epoch的训练代码

def train(train_loader, model, criterion, optimizer, epoch):
    # 切换模型为训练模式
    model.train()

    for i, (input, target) in enumerate(train_loader):
        c0, c1, c2, c3, c4, c5 = model(data[0])
        loss = criterion(c0, data[1][:, 0]) + \
                criterion(c1, data[1][:, 1]) + \
                criterion(c2, data[1][:, 2]) + \
                criterion(c3, data[1][:, 3]) + \
                criterion(c4, data[1][:, 4]) + \
                criterion(c5, data[1][:, 5])
        loss /= 6
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

每个Epoch的验证代码

def validate(val_loader, model, criterion):
    # 切换模型为预测模型
    model.eval()
    val_loss = []

    # 不记录模型梯度信息
    with torch.no_grad():
        for i, (input, target) in enumerate(val_loader):
            c0, c1, c2, c3, c4, c5 = model(data[0])
            loss = criterion(c0, data[1][:, 0]) + \
                    criterion(c1, data[1][:, 1]) + \
                    criterion(c2, data[1][:, 2]) + \
                    criterion(c3, data[1][:, 3]) + \
                    criterion(c4, data[1][:, 4]) + \
                    criterion(c5, data[1][:, 5])
            loss /= 6
            val_loss.append(loss.item())
    return np.mean(val_loss)

4.2 模型加载和保存

torch.save(model_object.state_dict(), ‘model.pt’)
model.load_state_dict(torch.load(’ model.pt’))

4.3 模型调参流程

1. 初步构建简单的CNN模型，不用特别复杂，跑通训练、验证和预测的流程；
2. 简单CNN模型的损失会比较大，尝试增加模型复杂度，并观察验证集精度；
3. 在增加模型复杂度的同时增加数据扩增方法，直至验证集精度不变。

 

深度学习有众多的训练技巧，比较推荐的阅读链接有：
http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html
http://karpathy.github.io/2019/04/25/recipe/

推荐阅读：
Python+OpenCV图像处理基础知识