空间变换网络(Spatial Transformer Networks)引入了可学习的几何变换模块，增强了CNN模型的几何不变性。它包括局部网络计算变换矩阵，参数化网格采样计算新图像素点，以及差分图像采样进行双线性插值。仿射变换和双线性插值是其中的关键技术，应用于图像的平移、缩放、旋转等操作，确保变换后图像的质量。
空间转换网络(Spatial Transformer Networks)
普通的CNN能够显示的学习平移不变性，以及隐式的学习旋转不变性，但attention model 告诉我们，与其让网络隐式的学习到某种能力，不如为网络设计一个显式的处理模块，专门处理以上的各种变换。
空间变换网络，允许神经网络学习如何在输入图像上执行空间变换，以增强模型的几何不变性，意思就是在对样本内容作微小的移动之后不会改变其原本的输出。
例如，它可以裁剪感兴趣的区域，缩放并校正图像的方向。
只需要在现有CNN上做微小的调整就能实现空间变换网络。
直观来说就是在CNN网络前添加了一层transform layer，在读取图片之后对其做一个转换，将转换之后的图片作为输入丢入CNN结构。
仿射变换（Affine transformation）
仿射变换的意思就是一张图在原图的基础上经过平移，缩放，旋转，剪切等相关操作。
综合可得公式：
如上图所示，将 a,b,c,d,e,f 代入不同值可以实现不同的仿射变换。
双线性插值（Bilinear Interpolation）
线性插值：在已知两点的情况下(x1, y1), (x2, y2
最低0.47元/天 解锁文章
扫一扫
667
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
