Pytorch forward()的简单理解与用法

1.基本用法

在pytorch中，使用torch.nn包来构建神经网络，我们定义的网络继承自nn.Module类。而一个nn.Module包含神经网络的各个层(放在__init__里面)和前向传播方式(放在forward里面)，例如：

class Module(nn.Module):
	# 网络结构
    def __init__(self):
        super(Module, self).__init__()
        # ......
    # 前向传播
    def forward(self, x):
        # ......
        return x
#输入数据
data = .....  
# 实例化网络
module = Module()
# 前向传播
module(data)  
# 而不是使用下面的
# module.forward(data)   

可以发现，我们在编写代码的时候并不会显式地去调用forward方法。原因在于：

module(data)

实际上就等价于

module.forward(data)

2.原理分析

首先明确为什么module是一个对象，却可以像一个方法一样传入data进行调用

module(data)

原理是python中的__call__语法。例如：

class Module():
    def __call__(self, data):        
        print('传入的参数为->', data)
        
module = Module()
module(1)

输出为：

传入的参数为-> 1

也就是说，在我们编写的模型所继承的nn.Module类中，其__call__方法内便包含了某种形式的对forward方法的调用，从而使得我们不需要显式地调用forward方法。
当然，以上是简化的理解，实际的过程应为：

• 调用module的call方法
• module的call里面调用module的forward方法
• forward里面如果碰到Module的子类，回到第1步，如果碰到的是Function的子类，继续往下
• 调用Function的call方法
• Function的call方法调用了Function的forward方法
• Function的forward返回值
• module的forward返回值
• 在module的call进行forward_hook操作，然后返回值

3.参考

pytorch 中的 forward 的使用与解释_JY丫丫-CSDN博客_def forward(self, x):
PyTorch之前向传播函数forward_鹊踏枝-码农的专栏-CSDN博客

原文链接:https://blog.csdn.net/qq_40714949/article/details/112499061