task04 模型训练与验证

模型训练与验证
1 成熟的深度学习训练流程
2 构造验证集
3 模型训练与验证
4 模型调参流程
5 参考
1 成熟的深度学习训练流程
在训练集上进行训练，并在验证集上进行验证
模型可以保存最优的权值，并读取权重
记录下训练集和验证集的精度，便于调参
2 构造验证集
为什么需要验证集？
深度学习训练的时候，模型是非常容易出现过拟合，即在训练阶段的loss是非常小的，但是在测试集中loss是非常大。为了提供模型的泛化能力， 我们就构建一个与测试集极可能分布一致的验证集。
划分验证集的方式？
留出法：直接在训练集中，留出一部分的数据，当做验证集。缺点：就是只能得到一份验证集，模型有可能在验证集过拟合。适合场景为：数据量很大的情况。
交叉验证法：将训练集划分成K份，将其中的K-1份作为训练集，剩下的那份为验证集，循环k次。适合场景：数据量不是很大的情况。
自助采样法：有放回的采样方式得到验证集和训练集。每次的训练集和验证集都是有差别的。适合场景：数据量不是很大的情况。
3 模型训练与验证

在这里插入代码片
```# 构造训练集和验证集
train_loader = torch.utils.data.DataLoader(
	train_dataset,
	batch_size = 10,
	shuffle = True,
	num_workers = 10,
)

val_loader = torch.utils.data.DataLoader(
	val_dataset,
	batch_size = 10,
	shuffle = False,
	num_workers=10,
)

model = SVHN_Model1()
criterion = nn.CrossEntropyLoss(size_average=False)
optimizer = torch.optim.Adam(model.paramers(), 0.001)
best_loss = 1000.0
for epoch in range(20):
	print('Epoch: ', epoch)
	train(train_loader, model, criterion, optimizer, epoch)
	val_loss = validata(val_loader, model, criterion)

	# 记录验证就精度
	if val_loss < best_loss:
		best_loss = val_loss
		torch.save(model.state_dict(), ',/model.pt')   #  模型保存



```python
# 每个Epoch的训练代码如下：
def train(train_loader, model, ctiterion, optimizer, epoch):
	# 切换模型为训练模式
	model.train()

	for i, (input, target) in enumerate(train_loader):
		c0, c1, c2, c3, c4, c5 = model(data[0])
		loss = criterion(c0, data[1][:, 0]) + \
				criterion(c1, data[1][:, 1] + \
				criterion(c2, data[1][:, 2] + \
				criterion(c3, data[1][:, 3] + \
				criterion(c4, data[1][:, 4] + \
				criterion(c5, data[1][:, 5] )
		loss /= 6
		optimizer.zero_grad()
		loss.backward()
		optimizer.step()

在这里插入代码片
```# 每个Epoch的验证代码
def validata(val_loader, model, criterion):
	# 切换模型为预测模型
	model.eval()
	val_loss = []

	# 不记录模型梯度信息
	with torch.no_grad():
		for i, (input, target) in enumerate(var_loader):
			c0, c1, c2 , c3, c4, c5  =  model(data[0])
			loss = criterion(c0, data[1][:, 0]) + \
						criterion(c1, data[1][:, 1]) + \
						criterion(c2, data[1][:, 2] + \
						criterion(c3, data[1][:, 3] + \
						criterion(c4, data[1][:, 4] + \
						criterion(c5, data[1][:, 5] )
			loss /= 6
			valu_loss.append(loss.item())
	return np.mean(val_loss) 



4 模型调参流程
深度学习的调参是一门学问，因为深度学习模型的精度与模型的复杂度、数据量、正则化、数据扩增等因素直接相关。
一般常用的方法是：

构建简单的CNN模型，不用特别复杂， 跑通基本流程就可。
逐步增加模型的复杂度， 并观察验证集精度
在增加模型的复杂度的同时增加数据扩增的方法， 直至验证精度不变。
5 参考
DataWhale.