Accelerating Deep Neural Networks with Spatial Bottleneck Modules 利用空间瓶颈模块加速神经网络

 

中心思想： 分解卷积到两个阶段，首先，减小空间分辨率，然后，再存回需要尺寸。该操作降低了空间域上的采样密度，既独立又与信道域的网络加速方法互补，利用不同的采样率，可以在识别精度和模型复杂性之间进行权衡。作为基本的构建块，空间瓶颈可以用来代替任意一个卷积层，或者是两个卷积层的组合，并通过应用验证了空间瓶颈的有效性。对于深度残差网络，空间瓶颈在常规残差块和信道瓶颈残差块上分别达到2×4×加速比，在识别低分辨率图像时保持了较高的精度，在高分辨率图像识别方面甚至有所提高。

 

输入 w1 h1 d1

fliter d2 s s d1

输出 w2 h2 d2

FLOP :w2*h2*d1*d2*s*s

三个因素，即核大小(S2)、通道域中的连接数(D1d2)和输出特征映射的分辨率(W2h2)，所提出的空间瓶颈模块旨在降低w2h2的因子，它独立于w2h2，因而与w2h2互补。

空间瓶颈模块：

The core idea of decreasing W2H2 is to first reduce the
spatial resolution of the feature map, and then restore it to
the desired size. In practice, we implement Y = f1(X)
as a stride-K convolution, and Z = f2(Y) as a stride-