总结一下STN网络

1. Localisation Net

Localisation Net 的目标是学习空间变换参数θ，无论通过全连接层还是卷积层，LocalisationNet 最后一层必须回归产生空间变换参数θ。

输入：特征图U ，其大小为 (H, W, C)

输出：空间变换参数θ（对于仿射变换来说，其大小为（6，））

结构：结构任意，比如卷积、全连接均可，但最后一层必须是regression layer来产生参数θ，记作θ= floc(U)

2. Grid Generator

该层利用LocalisationNet 输出的空间变换参数θ，将输入的特征图进行变换，这个决定了变换前后图片U、V之间的坐标映射关系。

以仿射变换为例，将输出特征图上某一位置(xit,yit)通过参数θ映射到输入特征图上某一位置(xis,yis)，上标t表示target，上标s表示source，计算公式如下：

输入target坐标，获取对应的原图片坐标，然后把原图片坐标上的灰度值给复制过来。
3. Sampler

Sampler根据步骤2 GridGenerator产生的坐标映射关系，把输入图片U变换成输出图片V。

在计算中， (xis,yis)往往会落在原始输入特征图的几个像素点中间，因此需要利用双线性插值来加权平均(xis,yis)周围点的灰度值，然后复制给输出图片V

4.特点
Localisationnet、Grid generator、Sampler三者都是可微的，因此它们可以插入到正常的网络构架中，通过反向传播更新参数，无需额外的监督信息。
STN的主要特点：

1.  模块化：STN可以插入到现有深度学习网络结构的任意位置，且只需要较小的改动。
   

2.  可微分性：STN是一个可微分的结构，可以反向传播，整个网络可以端到端训练。
   

3.  不需要额外的监督信息
   

5.实验结果
对MINST数据集做了rotation®, rotation, scale and translation (RTS), projective transformation §, andelastic warping (E)，获得输出的图片V。然后计算STN输出的图片V’的误差，进行监督学习