Involution 详解与维度推导

论文阅读笔记见：https://blog.csdn.net/full_adder/article/details/115426533?spm=1001.2014.3001.5501
使用代码来自大佬的：https://github.com/ChristophReich1996/Involution
流程与论文中基本一致，见下图。在此进行简易的维度梳理（严格来讲没啥能梳理的）

但是组会没有讲的了（划掉）

• 基本结构
  一个Involution层的制作大概分三步，将数据通过游走窗打包，产生核参数，将两者相乘。

• 数据的产生
  我们假设输入数据的维度是$16\times 16\times 400\times 1$，其中batchsize=16,channels=16,w=400,h=1。
  输入的参数为stride=(5,1), kernel_size=(7, 7), out_channels=32，其它的不变。众所周知，involution是一种通道参数共享的方法，因此，把16通道的卷成32通道的方法也有一点不同。数据的处理步骤如下：
  1.自卷积扩展通道
  通过stride=(1,1)，kernel=(1,1)的卷积扩展通道，相当于用了32组$1\times 1\times 16$的核·，令所有核组成一个维度为32*16的矩阵，也就是说，这次卷积相当于对数据进行了一次矩阵乘法：
  $$inithe{d}_{[32,400,1]}=W_{[32,16]}^a\times inpu{t}_{[16,400,1]}$$
  现在数据inithed的维度为$16\times 32\times 400\times 1$
  2.游走窗打包
  由于空间内的卷积核不同，所以要将每个卷积核对应的$7\times 7$区域裁剪出来。在此利用nn.Unfold函数，对应stride=(5,1)，我们有$80\times 1$个窗，因此数据input_unfolded现在的维度为：$16\times 1568\times 80$ $[1568=32\times 7\times 7]$
  3.展开
  为了便于相乘，将数据展开，最终input_unfolded的维度为：$16\times 1\times 32\times 49\times 80\times 1$

• 核的产生
  1.步长收缩
  不同于数据，核先产生变化的是w,h的维度，如果步长为(1,1)则维度不变，在本例中，通过nn.AvgPool2d函数平均池化产生用来产生核的数据，维度为$16\times 16\times 80\times 1$。因此核并不仅仅是由卷积的部分产生的，保留了全局信息。
  2.自卷积扩展通道
  同样的自卷积：stride=(1,1)，kernel=(1,1)。输出维度为：$16\times 32\times 80\times 1$
  3.非线性产生核
  在这里，整个过程分为两步：非线性计算——自卷积
  非线性运算可能是sigmoid函数或者是batchnorm后的relu函数。自卷积用来产生和每个打包出来的数据小窗对应的核，输出维度为：$16\times 49\times 80\times 1$
  4.展开
  展位对应的相乘形式：$16\times 1\times 1\times 49\times 80\times 1$，空间共享，所以没有32啦

• 相乘
  无需赘述，就是矩阵相乘，然后第三维度加和，最后调整维度为输出维度：$16\times 32\times 80\times 1$