Pytorch——torch.nn&torch.nn.functional

常用的两个库分别为torch.nn和torch.nn.functional，里面有很多函数功能都是相似的，两者的区别主要在于：使用torch.nn定义函数的时候，搭建的是“空壳子”，并不需要给定input，input在forward部分才给定，而使用torch.nn.functional定义函数的时候，需要将input也一起给定（见下面的例子），所以torch.nn常常在类的__init__函数中用来定义网络框架，而torch.nn.functional常常在forward函数中用。

torch.nn

github链接
导入方法：import torch.nn as nn
常用函数：nn.Sequential(), nn.Conv2d(), nn.Linear(), nn.ReLU(), nn.BatchNorm2d()，nn.MaxPool2d()，nn.MaxPool1d()等。

torch.nn.functional

github链接
这个库的导入方法一般为：import torch.nn.functional as F
常用函数有：F.max_pool2d(), F.avg_pool2d(), F.max_pool1d(), F.avg_pool1d(), F.relu()等。

实现pooling

实现二维max pooling

输入为(N, C, H_{in}, W_{in})， 输出为(N, C, H_{out}, W_{out})类型tensor。

【方法一】torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)
参数解释：

• kernel_size(int or tuple) - max pooling的窗口大小，可以为tuple，在nlp中tuple用更多，（n,1）
• stride(int or tuple, optional) - max pooling的窗口移动的步长。默认值是kernel_size
• padding(int or tuple, optional) - 输入的每一条边补充0的层数
• dilation(int or tuple, optional) – 一个控制窗口中元素步幅的参数
• return_indices - 如果等于True，会返回输出最大值的序号，对于上采样操作会有帮助
• ceil_mode - 如果等于True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的操作。

a = torch.randn(3,5,10)
b = nn.MaxPool2d((5, 1))
c = b(a)
print(c.shape) # torch.Size([3, 1, 10])

【方法二】F.max_pool2d(input, kernel)
这里的kernel与上面相同，也是tuple。

a = torch.randn(3,5,10)
c = F.max_pool2d(a, (5, 1)) 
print(c.shape) # torch.Size([3, 1, 10])

【方法三】nn.AdaptiveMaxPool2d(output_size) 自适应最大池化Adaptive Max Pooling
参考链接

实现一维max pooling

输入为(N, C, L_{in})，输出为(N, C, L_{out})类型tensor。

【方法一】torch.nn.MaxPool1d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

【方法二】F.max_pool1d(input, kernel)
这里的kernel与上面相同，在一维pooling的时候，kernel size为int型。

【方法三】nn.AdaptiveMaxPool1d(output_size) 自适应最大池化Adaptive Max Pooling
参考链接