一般的卷积是在所有的输入特征图上做卷积,可以说是全通道卷积,是一种通道密集连接方式(channel dense connection);
分组卷积(Group convolution)是将输入层的不同特征图进行分组,然后采用不同的卷积核再对各个组进行卷积,这样可以降低卷积的计算量,但不利于通道组之间的信息流通,因此,与常规卷积相比,分组卷积是一种通道稀疏连接方式;
为了克服分组卷积带来的副作用,ShuffleNet v1 中提出了channel shuffle操作:对group convolution之后的特征图进行“重组”,这样可以保证下一步group convolution的输入来自不同的组,因此信息可以在不同组之间流转。
其实就是打乱原有特征顺序再进行重组:首先确定自己的特征图通道数多少,再确定组数多少,然后将通道分组后作为输入(input)就可以了。
在程序上实现channel shuffle流程:
假定将输入层分为 g 组,总通道数为 g × n :
import torch
def channel_shuffle(x, groups):
batch_size, num_channels, height, width = x.size()
channels_per_group = num_channels // groups
print(channels_per_group)
# reshape
# b, c, h, w =======> b, g, c_per, h, w
x = x.view(batch_size, groups, channels_per_group, height, width)
x = torch.transpose(x, 1, 2).contiguous()
# flatten
x = x.view(batch_size, -1, height, width)
return x
a = torch.randn(1,15,3,3) #1x15x3x3
print(a.shape)
groups = 3
x = channel_shuffle(a, 3)
print(x.shape)