模型训练与验证
1 成熟的深度学习训练流程
2 构造验证集
3 模型训练与验证
4 模型调参流程
5 参考
1 成熟的深度学习训练流程
在训练集上进行训练,并在验证集上进行验证
模型可以保存最优的权值,并读取权重
记录下训练集和验证集的精度,便于调参
2 构造验证集
为什么需要验证集?
深度学习训练的时候,模型是非常容易出现过拟合,即在训练阶段的loss是非常小的,但是在测试集中loss是非常大。为了提供模型的泛化能力, 我们就构建一个与测试集极可能分布一致的验证集。
划分验证集的方式?
留出法:直接在训练集中,留出一部分的数据,当做验证集。缺点:就是只能得到一份验证集,模型有可能在验证集过拟合。适合场景为:数据量很大的情况。
交叉验证法:将训练集划分成K份,将其中的K-1份作为训练集,剩下的那份为验证集,循环k次。适合场景:数据量不是很大的情况。
自助采样法:有放回的采样方式得到验证集和训练集。每次的训练集和验证集都是有差别的。适合场景:数据量不是很大的情况。
3 模型训练与验证
在这里插入代码片
```# 构造训练集和验证集
train_loader = torch.utils.data.DataLoader(
train_dataset,
batch_size = 10,
shuffle = True,
num_workers = 10,
)
val_loader = torch.utils.data.DataLoader(
val_dataset,
batch_size = 10,
shuffle = False,
num_workers=10,
)
model = SVHN_Model1()
criterion = nn.CrossEntropyLoss(size_average=False)
optimizer = torch.optim.Adam(model.paramers(), 0.001)
best_loss = 1000.0
for epoch in range(20):
print('Epoch: ', epoch)
train(train_loader, model, criterion, optimizer, epoch)
val_loss = validata(val_loader, model, criterion)
# 记录验证就精度
if val_loss < best_loss:
best_loss = val_loss
torch.save(model.state_dict(), ',/model.pt') # 模型保存
```python
# 每个Epoch的训练代码如下:
def train(train_loader, model, ctiterion, optimizer, epoch):
# 切换模型为训练模式
model.train()
for i, (input, target) in enumerate(train_loader):
c0, c1, c2, c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1] + \
criterion(c2, data[1][:, 2] + \
criterion(c3, data[1][:, 3] + \
criterion(c4, data[1][:, 4] + \
criterion(c5, data[1][:, 5] )
loss /= 6
optimizer.zero_grad()
loss.backward()
optimizer.step()
在这里插入代码片
```# 每个Epoch的验证代码
def validata(val_loader, model, criterion):
# 切换模型为预测模型
model.eval()
val_loss = []
# 不记录模型梯度信息
with torch.no_grad():
for i, (input, target) in enumerate(var_loader):
c0, c1, c2 , c3, c4, c5 = model(data[0])
loss = criterion(c0, data[1][:, 0]) + \
criterion(c1, data[1][:, 1]) + \
criterion(c2, data[1][:, 2] + \
criterion(c3, data[1][:, 3] + \
criterion(c4, data[1][:, 4] + \
criterion(c5, data[1][:, 5] )
loss /= 6
valu_loss.append(loss.item())
return np.mean(val_loss)
4 模型调参流程
深度学习的调参是一门学问,因为深度学习模型的精度与模型的复杂度、数据量、正则化、数据扩增等因素直接相关。
一般常用的方法是:
构建简单的CNN模型,不用特别复杂, 跑通基本流程就可。
逐步增加模型的复杂度, 并观察验证集精度
在增加模型的复杂度的同时增加数据扩增的方法, 直至验证精度不变。
5 参考
DataWhale.