「Deep Learning」理解Pytorch中的「torch.nn」

Sina Weibo：小锋子Shawn
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/80345103

基于Pytorch 0.2.0_1

Parameters， 参数，文档

Containers，容器，文档

Module，所有神经网络模块的基础类。

Sequential，序贯容器，类似Keras里面的序贯模型，另外这些是比较传统的卷积网络了。

Convolution layers，卷积层，文档

Conv1d，一维卷积层。用于计算ECG等一维数据。

Conv2d，二维卷积层。用于计算CT断层或MR断层，或二维超声图像，自然图像等二维数据。

Conv3d，三维卷积层。用于计算CT或MR等容积数据，视频数据等三维数据。

ConvTranspose1d

ConvTranspose2d，二维转置卷积层。

ConvTranspose3d

Pooling layers，池化层，文档

Padding layers，填充层，文档

ReflectionPad2d，属于Padding Layers，镜像填充。Padding的方式可以是统一方式，也就是指定一个数值，也可以是不规则方式，也就是给出一个4元组。Shape的计算公式可以查看文档。如下：

$$Ho = Hi + paddingTop + paddingBottom， Wo = Wi + paddingLeft+ paddingRight$$

#is int
m = nn.ReflectionPad2d(3)
# ReflectionPad2d(3, 3, 3, 3)
input = autograd.Variable(torch.randn(16, 3, 320, 480)) # size 16 3 320 480
output = m(input) # size 16 3 326 486
#is 4-tuple
m = nn.ReflectionPad2d((3, 3, 6, 6)) # Left, Right, Top, Bottom
output = m(input) # size 16 3 332 486

ReplicationPad2d，同上，复制填充。

ReplicationPad3d，类似上面。

ZeroPad2d，同上，常数为零。

ConstantPad2d，同上，常数自己指定。

Non-linear Activations，非线性激活函数，文档

LeakyReLU，泄漏ReLU。

Tanh，双曲正切函数。输出值范围在[-1，1]。

Normalization layers，规范化层，文档

BatchNorm2d，根据公式进行空间批归一化(Spatial BatchNorm)，也即$\frac{input-mean(input)}{\sqrt{var(input)+eps}}*\gamma + \beta$。这里的input一般为4d张量的每一通道，也就是每一通道有自己的mean、var、$\gamma$和$\beta$。

InstanceNorm2d，根据公式进行归一化，也即