空间变换器网络STN
允许神经网络学习如何在输入图像上执行空间变换, 以增强模型的几何不变性。例如,它可以裁剪感兴趣的区域,缩放并校正图像的方向。
STN能够将其插入任何现有的CNN,而且只需很少的修改。
三个主要组成部分:
- 本地网络(Localisation Network)是常规CNN,其对变换参数进行回归。不会从该数据集中明确地学习转换,而是网络自动学习增强 全局准确性的空间变换。
- 网格生成器( Grid Genator)在输入图像中生成与输出图像中的每个像素相对应的坐标网格。
- 采样器(Sampler)使用变换的参数并将其应用于输入图像。
代码参考连接:link