深度学习（1）Spatial Transform Network

相关背景

如果网络中的图片，经过旋转、平移、缩放及裁剪等操作，网络输出同样的检测结果，那么我们说这个网络具有空间变换不变性。

传统CNN网络的池化层具有平移不变性，但是CNN网络对于大尺度的空间变换，不具备不变性。

STN提出的空间网络变换层，具有保证网络保持空间变换不变性的能力。这样，这个网络可以加到现有的卷积网络中，提高分类的准确性。

举个例子：输入手写字体，我们感兴趣的是数字区域，那么在训练过程中，学习到的空间变换网络能自动提取局部数据特征，并对框内的数据进行空间变换，得到output。

综上所示，STN主要有三个作用：
1、可以将输入转为下一层期望的形式
2、可以在训练中自动选择感兴趣的区域特征
3、可以实现对各种形变数据进行空间变换

手写字的空间转换网络示意图

算法概述

STN网络包含三部分：
1、Localization Network 局部网络
2、Parameterised Sampling Grid 参数化网格采样
3、Differentiable Image Sampling 差分图像采样

1、局部网络

输入：特征图
输出：变换矩阵

图像经过变换后，每个点的像素值一定会变化，如何确定变换后每个点的像素值呢？

2、参数化网格采样

目的：得到输出特征图的特征点对应的输入特征图的坐标点的位置

寻找对应点

注意，这里是根据目标图片中的坐标为基础，找输入照片中对应的特征点。

通过这步，我们就得到了目标特征图中每个坐标在输入图片中的对应位置。下面我们就可以直接根据这个关系，提取输入图片每个位置的像素值。但是有个问题：目标图片的坐标对应的输入图片的坐标点，不一定为整数坐标点，而整数坐标点才能提取像素值。

下个步骤就解决了这个问题。

3、差分图像采样

这一步完成的任务就是，利用插值的方式，找到对应点的灰度值。

双线性差值

现在再去看一下STN的图示，应该会更好理解一些。

SNT