pytorch中model.train()，model.eval() 和 torch.no_grad()的区别

最新推荐文章于 2024-09-18 13:48:58 发布

小女孩真可爱

最新推荐文章于 2024-09-18 13:48:58 发布

阅读量409

点赞数

分类专栏：每日学习文章标签：深度学习 python 人工智能

原文链接：https://blog.csdn.net/qimo601/article/details/124147376?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_utm_term~default-4-124147376-blog-120243366.pc_relevant_default&spm=1001.2101.3001.4242.3&utm_relevant_index=7

版权

每日学习专栏收录该内容

30 篇文章 3 订阅

订阅专栏

1. model.train()

model.train()的作用是启用 Batch Normalization 和 Dropout。如果模型中有BN层或Dropout层，model.train()是保证训练时BN层能够用到每一批数据的均值和方差，对于Dropout，model.train()是随机取一部分网络连接来训练更新参数。

2. model.eval()

model.eval()的作用是不启用 Batch Normalization 和 Dropout。

如果模型中有BN层(Batch Normalization）和Dropout，在测试时添加model.eval()。model.eval()是保证BN层能够用全部训练数据的均值和方差，即测试过程中要保证BN层的均值和方差不变。对于Dropout，model.eval()是利用到了所有网络连接，即不进行随机舍弃神经元。

训练完train样本后，生成的模型model要用来测试样本。在model(test)之前，需要加上model.eval()，否则的话，有输入数据，即使不训练，它也会改变权值。这是model中含有BN层和Dropout所带来的的性质。

在做one classification的时候，训练集和测试集的样本分布是不一样的，尤其需要注意这一点。

3. model.train()和model.eval()使用错误示例

下面我们看一个我们写代码的时候常遇见的错误写法：在这个特定的例子中，似乎每50次迭代就会降低准确度。如果我们检查一下代码，我们看到确实在train函数中设置了训练模式。

这个问题不太容易注意到，在循环中我们调用了test函数。

def test(model, test_loader):
    model.eval()
    ...
 
def train(model, optimizer, epoch, train_loader, validation_loader):
    model.train() # ???????????? 错误的位置
    for batch_idx, (data, target) in experiment.batch_loop(iterable=train_loader):
    	# model.train() # 正确的位置，保证每一个batch都能进入model.train()的模式
        data, target = Variable(data), Variable(target)
        # Inference
        output = model(data)
        loss_t = F.nll_loss(output, target)
        # The iconic grad-back-step trio
        optimizer.zero_grad()
        loss_t.backward()
        optimizer.step()
        if batch_idx % args.log_interval == 0:
            train_loss = loss_t.item()
            train_accuracy = get_correct_count(output, target) * 100.0 / len(target)
            experiment.add_metric(LOSS_METRIC, train_loss)
            experiment.add_metric(ACC_METRIC, train_accuracy)
            print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
                epoch, batch_idx, len(train_loader),
                100. * batch_idx / len(train_loader), train_loss))
            with experiment.validation():
                val_loss, val_accuracy = test(model, validation_loader) # ????????????
                experiment.add_metric(LOSS_METRIC, val_loss)
                experiment.add_metric(ACC_METRIC, val_accuracy)

在test函数内部，我们将模式设置为eval。这意味着，如果我们在训练过程中调用了test函数，我们就会进eval模式，直到下一次train函数被调用。这就导致了每一个epoch中只有一个batch使用了dropout ，这就导致了我们看到的性能下降。

修复很简单我们将model.train() 向下移动一行，让其在训练循环中。理想的模式设置是尽可能接近推理步骤，以避免忘记设置它。修正后，我们的训练过程看起来更合理，没有中间的峰值出现。