1 仿射变换
仿射变换(Affine Transformation 或Affine Map)是数字图像处理方法中一种二维坐标(x, y)到二维坐标(u, v)的线性变换:
仿射变换可以实现如:
仿射变换具有平直性和平行性的特点,比如适合将平行四边形转为矩形的案例,不适合将严重弯曲的画面拉回为直的。
2 STN结构
Spatial Transformer Networks, NIPS, 2015
STN的主要思想是通过网络学习一个变化参数(比如上边的仿射变换参数,6个),然后计算出新图在原图上对应的坐标,再通过某种填充方法填充新图。这是一段可微模块,可以插入现有的卷积架构中,使神经网络能够以特征图本身为条件,主动地转换特征图。
参数预测: | Localisation net |
坐标映射: | Grid generator |
像素点采集: | Sampler |
STN原理 --- 简单理解!
值得一提的是:
- 这个网络可以作为单独的模块,可以在CNN的任何地方插入,所以STN的输入不止是输入图像,可以是CNN中间层的feature map;
- 空间变压器可以通过标准的反向传播进行训练,允许对加入的结构和模型进行端到端训练!
demo效果(minist)网络结构:stn + conv + fc(10)