一种推理优化新思路，对特征图进行[随机采样-插值]

分享一篇ECCV 2020 的论文：Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

论文：

https://arxiv.org/abs/2003.08866

代码：

https://github.com/zdaxie/SpatiallyAdaptiveInference-Detection

0.动机

使用CNN模型解决多种计算机任务时，往往通过增加网络的计算量来提高模型性能，性能的提高以庞大的计算量为代价，一定程度上妨碍了模型在资源受限的设备上部署。因此有很多学者着重于研究减少CNN的计算量，同时保持高性能。

在推理时，只对输入的部分特征进行计算是一种减少网络计算量有效的方法。由于feature map具有一定的稀疏性，可以通过预测feature map中值为0的坐标，只计算值不为0处的feature map的值以减少计算量。

相比于上面的方法，作者提出了一种更高效的方法：将要计算的feature map看作随机场（probability field），基于它们的概率随机采样feature map位置并计算它们的值，使用插值方法重建feature map其余位置处的值。

1.随机采样-插值模块

1.1 总体结构

设CNN中一个卷积层的输入feature map为 ，输出feature map为 ,可用如下公式表示卷积操作:

上式中的 和 分别表示feature map的高度和宽度， 和 分别表示输入feature map和输出feature map的通道数， 表示权重；，表示feature map中的元素在空间上的坐标集合； 用于构建进行卷积操作的窗口，比如对于 的卷积，