pytorch中的torch.nn.Unfold和torch.nn.Fold

目的

平时使用卷积操作时，既卷积核滑动窗口操作，对于pytorch，以二维图像为例，调用nn.Conv2d就能完成对输入（feature maps）的卷积操作。
但有时，maybe要探究卷积核对应的某一channel的单个窗口的卷积操作，或显式地进行卷积操作。此时，就需要nn.Unfold和nn.Fold。前段时间引起较大争议的BagNet（Bag of local feature net） 的分块卷积操作既由此函数完成。
一般来说，Conv2d 就是 Unfold + matmul + fold

Unfold

torch.nn.Unfold按照官方的说法，既从一个batch的样本中，提取出滑动的局部区域块，也就是卷积操作中的提取kernel filter对应的滑动窗口。

如上图所示，蓝色框部分就是kernel filter（红色框部分）对应的滑动窗口。
首先来看下torch.nn.Unfold的参数：

torch.nn.Unfold(kernel_size, dilation=1, padding=0, stride=1)

跟nn.Conv2d的参数很相似，卷积核的尺寸，空洞大小，填充大小和步长。

官方解释中：unfold的输入为（$N$, $C$, $H$, $W$），其中N为batch_size，C是channel个数，H和W分别是channel的长宽。则unfold的输出为（$N$, $C\times \prod$(kernel_size), $L$），其中$\prod$(kernel_size)为kernel_size长和宽的乘积， L是channel的长宽根据kernel_size的长宽滑动裁剪后，得到的区块的数量。

以输入（1, 3, 4, 4）为例，设定kernel_size = (2, 2)，stride = 2，根据官方给出的$L$计算公式： L = ∏ d ⌊ s p a t i a l _ s i z e [ d ] + 2 × p