torch.nn 与 torch.nn.functional的区别？

区别

PyTorch中torch.nn与torch.nn.functional的区别是：1.继承方式不同；2.可训练参数不同；3.实现方式不同；4.调用方式不同。

1.继承方式不同

torch.nn 中的模块大多数是通过继承torch.nn.Module 类来实现的，这些模块都是Python 类，需要进行实例化才能使用。而torch.nn.functional 中的函数是直接调用的，无需实例化.

2.可训练参数不同

torch.nn 中的模块可以包含可训练参数，可以使用model.parameters() 方法获取所有的可训练参数，用于优化算法的训练。而torch.nn.functional 中的函数没有可训练参数。

3.实现方式不同

torch.nn 中的模块是基于面向对象的方法实现的，而torch.nn.functional 中的函数是基于函数式编程实现的。因此，使用torch.nn.functional 可以更方便地进行函数组合、复用等操作，而torch.nn 则更适合用于定义有状态的模块。

4.调用方式不同

torch.nn 中的模块是通过类的实例进行调用，通常需要先创建模型实例，再将输入数据传入模型中进行前向计算。而torch.nn.functional 中的函数可以直接调用，只需要将输入数据传入函数中即可进行前向计算。

总之，torch.nn 和torch.nn.functional 都是用于构建神经网络模型的模块，但其实现方式、调用方式、可训练参数等方面有所不同。使用时需要根据具体需求选择合适的模块和函数

联系：

torch.nn的类会在forward()方法中调用torch.nn.functional的函数，所以可以理解为nn模块中的方法是对nn.functional模块中方法的更高层的封装。

如何选择：

1. 何时选择torch.nn 

在定义深度神经网络的layer时推荐使用nn模块。

一是因为当定义有变量参数的层时（比如conv2d, linear, batch_norm），nn模块会帮助我们初始化好变量，而我们只需要传入一些参数；

二是因为model类本身是nn.Module，看起来会比较协调统一；

三是因为可以结合nn.Sequential。

四是当使用dropout时推荐使用nn模块，因为可以在测试阶段通过eval()方法方便地关闭dropout。

2. 何时选择torch.nn.functional

nn.functional中的函数相比nn更偏底层，所以虽然封装性不高，但透明度很高，可以在其基础上定义出自己想要的功能

参考博文：

【pytorch】torch.nn 与 torch.nn.functional 的区别_torch.nn和torch.nn.function的区别-CSDN博客文章浏览阅读554次。今天在看pytorch的代码时，看到了torch.nn 和 torch.nn.functional，然后查了两个模块的官方doc，也没有看明白有啥区别，然后就查了一下资料，这里记录一下，方便以后查阅。_torch.nn和torch.nn.function的区别https://blog.csdn.net/qq_41990294/article/details/126311353