torch.nn库和torch.nn.functional库

nn.functional可以看作nn的子库，nn的功能要多一些，还可以实现如Sequential()这种将多个层弄到一个序列这样复杂的操作。

大部分nn中的层class都有nn.function对应，其区别是：

• nn.Module实现的layer是由class Layer(nn.Module)定义的特殊类，会自动提取可学习参数nn.Parameter
• nn.functional中的函数更像是纯函数，由def function(input)定义。

由于两者性能差异不大，所以具体使用取决于个人喜好。对于激活函数和池化层，由于没有可学习参数，一般使用nn.functional完成，其他的有学习参数的部分则使用类。但是Droupout由于在训练和测试时操作不同，所以建议使用nn.Module实现，它能够通过model.eval加以区分。

nn.functional不需要放入__init__进行构造，所以不具有可学习参数的部分可以使用nn.functional进行代替。

一、区别：

1. 类型：

(1) torch.nn中包含的是封装好的类，继承自nn.Module，调用时先实例化，然后在__init__()中初始化，再在forward()中进行操作。

(2) torch.nn.functional中包含的是实现好的函数，直接通过接口调用。

2. 调用方法：

以二维卷积操作为例：

(1) 调用torch.nn.Conv2d()类时，会先进行实例化，在构造函数中帮你定义好weight, bias变量，你只需传入相关参数，而不需要手动维护这些变量。然后会把定义好的变量作为参数传入nn.functional.conv2d()函数中，以函数调用的方法实现卷积。调用方式为torch.nn.Conv2d()(x)。

(2) 调用torch.nn.functional.conv2d()函数时，需要手动地创建好weight, bias变量，然后作为参数传入函数中调用。调用方式为torch.nn.functional.conv2d(x)

3. 继承自nn.Module的方法

(1) 前面提到，torch.nn下的类继承自nn.Module，所以nn模块下的类除了具有nn.functional函数的功能外，还继承了nn.Module的属性和方法，包括我们常用的train(), eval(), cuda()等等。

(2) 此外由于继承自nn.Module，torch.nn模块中的类能与nn.Sequential结合使用，而nn.functional中的函数无法与nn.Sequential结合。

 
二、联系：

torch.nn的类会在forward()方法中调用torch.nn.functional的函数，所以可以理解为nn模块中的方法是对nn.functional模块中方法的更高层的封装。

 
三、如何选择：

1. 何时选择torch.nn

在定义深度神经网络的layer时推荐使用nn模块。一是因为当定义有变量参数的层时（比如conv2d, linear, batch_norm），nn模块会帮助我们初始化好变量，而我们只需要传入一些参数；二是因为model类本身是nn.Module，看起来会比较协调统一；三是因为可以结合nn.Sequential。

此外当使用dropout时推荐使用nn模块，因为可以在测试阶段通过eval()方法方便地关闭dropout。

2. 何时选择torch.nn.functional

nn.functional中的函数相比nn更偏底层，所以虽然封装性不高，但透明度很高，可以在其基础上定义出自己想要的功能。

 

原文链接：https://blog.csdn.net/PanYHHH/article/details/107469992