空间变换网络 Spatial Transformer Networks

论文笔记：空间变换网络（Spatial Transformer Networks） - PilgrimHui - 博客园

为什么提出（Why）

1. 一个理想中的模型：我们希望鲁棒的图像处理模型具有空间不变性，当目标发生某种转化后，模型依然能给出同样的正确的结果
2. 什么是空间不变性：举例来说，如下图所示，假设一个模型能准确把左图中的人物分类为凉宫春日，当这个目标做了放大、旋转、平移后，模型仍然能够正确分类，我们就说这个模型在这个任务上具有尺度不变性，旋转不变性，平移不变性
3. CNN在这方面的能力是不足的：maxpooling的机制给了CNN一点点这样的能力，当目标在池化单元内任意变换的话，激活的值可能是相同的，这就带来了一点点的不变性。但是池化单元一般都很小（一般是2*2），只有在深层的时候特征被处理成很小的feature map的时候这种情况才会发生
4. Spatial Transformer：本文提出的空间变换网络STN（Spatial Transformer Networks）可以使得模型具有空间不变性。

tips：双线性差值

双线性插值(Bilinear Interpolation) - 马语者 - 博客园
典型应用是在二维平面里对像素点灰度进行差值。