「Deep Learning」理解Pytorch中的「torch.nn」

最新推荐文章于 2024-08-09 15:25:17 发布

小锋子Shawn

最新推荐文章于 2024-08-09 15:25:17 发布

阅读量8.9k

点赞数 4

文章标签：小锋子深度学习 Pytorch

本文链接：https://blog.csdn.net/dgyuanshaofeng/article/details/80345103

版权

本文详细介绍了Pytorch的torch.nn模块，包括参数、容器、卷积层、池化层、填充层、非线性激活函数、规范化层、循环层、线性层、Dropout层、稀疏层、距离函数、损失函数、视觉层、数据并行层和一些实用工具。特别讨论了如Conv1d、BatchNorm2d、ReLU和DataParallel layers等关键组件的用法和原理。

摘要由CSDN通过智能技术生成

Sina Weibo：小锋子Shawn
Tencent E-mail：403568338@qq.com
http://blog.csdn.net/dgyuanshaofeng/article/details/80345103

基于Pytorch 0.2.0_1

Parameters，参数，文档

Containers，容器，文档

Module，所有神经网络模块的基础类。

Sequential，序贯容器，类似Keras里面的序贯模型，另外这些是比较传统的卷积网络了。

Convolution layers，卷积层，文档

Conv1d，一维卷积层。用于计算ECG等一维数据。

Conv2d，二维卷积层。用于计算CT断层或MR断层，或二维超声图像，自然图像等二维数据。

Conv3d，三维卷积层。用于计算CT或MR等容积数据，视频数据等三维数据。

ConvTranspose1d

ConvTranspose2d，二维转置卷积层。

ConvTranspose3d

Pooling layers，池化层，文档

Padding layers，填充层，文档

ReflectionPad2d，属于Padding Layers，镜像填充。Padding的方式可以是统一方式，也就是指定一个数值，也可以是不规则方式，也就是给出一个4元组。Shape的计算公式可以查看文档。如下：

H o = H i + p a d d i n g T o p + p a d d i n g B o t t o m ， W o = W i + p a d d i n g L e f t + p a d d i n g R i g h t

$Ho = Hi + paddingTop + paddingBottom， Wo = Wi + paddingLeft+ paddingRight$

#is int
m = nn.ReflectionPad2d(3)
# ReflectionPad2d(3, 3, 3, 3)
input = autograd.Variable(torch.randn(16, 3, 320, 480)) # size 16 3 320 480
output = m(input) # size 16 3 326 486
#is 4-tuple
m = nn.ReflectionPad2d((3, 3, 6, 6)) # Left, Right, Top, Bottom
output = m(input) # size 16 3 332 486

ReplicationPad2d，同上，复制填充。

ReplicationPad3d，类似上面。

ZeroPad2d，同上，常数为零。

ConstantPad2d，同上，常数自己指定。

Non-linear Activations，非线性激活函数，文档

LeakyReLU，泄漏ReLU。

Tanh，双曲正切函数。输出值范围在[-1，1]。

Normalization layers，规范化层，文档

BatchNorm2d，根据公式进行空间批归一化(Spatial BatchNorm)，也即 $\frac{input-mean(input)}{\sqrt{var(input)+eps}}*\gamma + \beta$ 。这里的input一般为4d张量的每一通道，也就是每一通道有自己的mean、var、 $\gamma$ 和 $\beta$ 。