pytorch如何在不引入额外参数的情况下在forward函数中判断模型是否处于训练状态

知识来自于https://www.cnblogs.com/hellcat/p/8509351.html

前置知识：

当模型使用train()函数进入训练状态时，Module.__dict__字典中的‘training’ 对应的值将会变为True，反之，当模型进入eval模式时，'training'对应的值将会变为False

pytorch中nn.Module的模块重写了__getattr__()方法，在pytorch中nn.Module的.__getattr__()方法会对Module.__dict__._module、Module.__dict__._parameters和Module.__dict__._buffers这三个字典中的key进行查询。但是当我们使用python的内置函数getattr(obj, 'name')的时候时，会先对__dict__中的key进行查询(仅查询本级，不查询module，parameters和buffers)，查询不到对应属性值时，才会调用.__getattr__()方法，查询module，parameters和buffers中的key，再无结果就报错。

具体操作：

根据上面的知识，我们想要在forward函数中判断模型是否处于训练状态的话，我们只需要通过getattr(xx(模型对象), 'training')查询模型__dict__字典中的training对应的值即可，值得注意的是，因为training不存在于module,parameters和buffers这三个字典中，我们只能通过getattr查询，不能通过__getattr__()方法查询