train()与eval()

最新推荐文章于 2023-11-29 16:26:57 发布

kgkzhiwen

最新推荐文章于 2023-11-29 16:26:57 发布

阅读量1.6k

点赞数 1

文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/kgkzhiwen/article/details/106981073

版权

在PaddlePaddle的动态图模式中，train()和eval()用于切换网络的训练和预测模式。train()用于进入训练模式，而eval()则用于进入预测模式，后者在评估模型性能时避免了批归一化和Dropout等步骤以提高效率。当网络不使用批归一化和Dropout，或者不需要在训练过程中进行性能检测时，这两个函数的切换是不必要的。

摘要由CSDN通过智能技术生成

文章目录

Fluid Model train()与eval()

Fluid Model train()与eval()

在浏览PaddlePaddle的动态图源码时，一定会看到在生成train()函数时，首先会调用model.train(),中间每个epoch后会调用model.eval(),一段代码之后，又再调用modle.train().我对PaddlePaddle的架构还不熟悉，一直纳闷为啥用这样做。通过跟一位朋友讨论之后，终于明白了原因。

原来利用PaddlePaddle生成的网络，可以实时的在训练和预测模式下转换， train()转成训练模式，而eval()转成预测模式。那为什么要在中间进行模式的转换？因为在预测模式下，为了节省时间，有一些步骤可以省去，比如batch normalization 和dropout, 这一点在eval()源码中写的很清楚：

def eval(self):
        """
        Sets this Layer and all its sublayers to evaluation mode.
        This only effects certain modules like `Dropout` and `BatchNorm`.
        Returns:
            None
        """
        # global setting
        framework._dygraph_tracer().eval_mode()
        # Layer-level setting
        self.training = False
        for layer in self.sublayers():
            layer.eval()