论文阅读笔记见:https://blog.csdn.net/full_adder/article/details/115426533?spm=1001.2014.3001.5501
使用代码来自大佬的:https://github.com/ChristophReich1996/Involution
流程与论文中基本一致,见下图。在此进行简易的维度梳理(严格来讲没啥能梳理的)
但是组会没有讲的了(划掉)
-
基本结构
一个Involution层的制作大概分三步,将数据通过游走窗打包,产生核参数,将两者相乘。 -
数据的产生
我们假设输入数据的维度是 16 × 16 × 400 × 1 16\times16\times400\times1 16×16×400×1,其中batchsize=16,channels=16,w=400,h=1。
输入的参数为stride=(5,1), kernel_size=(7, 7), out_channels=32,其它的不变。众所周知,involution是一种通道参数共享的方法,因此,把16通道的卷成32通道的方法也有一点不同。数据的处理步骤如下:
1.自卷积扩展通道
通过stride=(1,1),kernel=(1,1)的卷积扩展通道,相当于用了32组 1 × 1 × 16 1\times1\times16 1×1×16的核·,令所有核组成一个维度为32*16的矩阵,也就是说,这次卷积相当于对数据进行了一次矩阵乘法:
i n i t h e d [ 32 , 400 , 1 ] = W [ 32 , 16 ] a × i n p u t [ 16 , 400 , 1 ] inithed_{[32,400,1]}=W^a_{[32,16]}\times input_{[16,400,1]} inithed[32,400,1]=W[32,16]a×input[16,400,1]
现在数据inithed的维度为 16 × 32 × 400 × 1 16\times32\times400\times1 16×32×400×1
2.游走窗打包
由于空间内的卷积核不同,所以要将每个卷积核对应的 7 × 7 7\times 7 7×7区域裁剪出来。在此利用nn.Unfold函数,对应stride=(5,1),我们有 80 × 1 80\times 1 80×1个窗,因此数据input_unfolded现在的维度为: 16 × 1568 × 80 16\times 1568 \times 80 16×1568×80 [ 1568 = 32 × 7 × 7 ] [1568=32\times7\times7] [1568=32×7×7]
3.展开
为了便于相乘,将数据展开,最终input_unfolded的维度为: 16 × 1 × 32 × 49 × 80 × 1 16\times1\times32\times49\times80\times1 16×1×32×49×80×1 -
核的产生
1.步长收缩
不同于数据,核先产生变化的是w,h的维度,如果步长为(1,1)则维度不变,在本例中,通过nn.AvgPool2d函数平均池化产生用来产生核的数据,维度为 16 × 16 × 80 × 1 16\times16\times80\times1 16×16×80×1。因此核并不仅仅是由卷积的部分产生的,保留了全局信息。
2.自卷积扩展通道
同样的自卷积:stride=(1,1),kernel=(1,1)。输出维度为: 16 × 32 × 80 × 1 16\times32\times80\times1 16×32×80×1
3.非线性产生核
在这里,整个过程分为两步:非线性计算——自卷积
非线性运算可能是sigmoid函数或者是batchnorm后的relu函数。自卷积用来产生和每个打包出来的数据小窗对应的核,输出维度为: 16 × 49 × 80 × 1 16\times49\times80\times1 16×49×80×1
4.展开
展位对应的相乘形式: 16 × 1 × 1 × 49 × 80 × 1 16\times1\times1\times49\times80\times1 16×1×1×49×80×1,空间共享,所以没有32啦 -
相乘
无需赘述,就是矩阵相乘,然后第三维度加和,最后调整维度为输出维度: 16 × 32 × 80 × 1 16\times32\times80\times1 16×32×80×1