Pytorch笔记

主要用于记录一些用过但不经常使用的pytorch方法，按照首字母排序。

C

1. nn.ChannelShuffle()
函数作用：打乱原特征图的通道顺序，即输入特征图为（B,C,H,W）,输出特征图的尺寸也是（B,C,H,W），但是C维上的维度顺序会被打乱。参数group(int)表示划分channel的组数。

channel_shuffle = nn.ChannelShuffle(2)
input = torch.randn(1, 4, 2, 2)
print(input)
'''
 [[[[1, 2],
   [3, 4]],
  [[5, 6],
   [7, 8]],
  [[9, 10],
   [11, 12]],
  [[13, 14],
   [15, 16]],
 ]
 '''
output = channel_shuffle(input)
print(output)
'''
[[[[1, 2],
   [3, 4]],
  [[9, 10],
   [11, 12]],
  [[5, 6],
   [7, 8]],
  [[13, 14],
   [15, 16]],
 ]]
'''

D

1. nn.Dropout(p=float)
Dropout的作用：防止过拟合而设置，p表示每个神经元有p的概率不被激活，一般用于全连接网络映射之后。

nn.Droupout(p=0.3)

P

1. nn.Parameter()
神经网络中除了卷积、全连接等其他操作需要一些额外的参数同样会跟着整个网络进行学习和训练。例如注意力机制中的权重参数、Vision Transformer中positional embedding等。

# 以ViT中的position embedding为例
self.pos_embedding = nn.Parameter(torch.randn(1, num_patches+1, dim))