文章探讨了卷积神经网络(CNN)如何处理缩放和旋转的不变性问题，提出了SpatialTransformerLayer作为解决方案。该层允许对FeatureMap进行平移、缩放和旋转操作。由于离散像素点的变化不会影响梯度，实践中通常采用双线性插值来解决。通过变换，模型能关注图像的不同特征，如鸟嘴和身体。
卷积神经网络（CNN）对缩放和旋转不是一成不变的！
加一个Layer可以实现对输入进行旋转缩放，这个Layer就是Spatial Transformer.
利用神经网络实现对Feature Map的平移和变换
图像转换（Image Transformation）
平移缩放
旋转操作
在实践中，一般都是由l层反推回去对应l-1层的哪一个像素的，这样子才能保证第l层每一个像素都能对应有值，找变换后的像素点对应变换前的像素点是哪一点。
这问题求解并不能使用Gradient Decent，因为我们计算求得了位置是离散点值，例如（1.6微小的改变为1.66，这并不会影响其对应的实际输出，就会导致梯度为0，因此没有任何参数更新）
在实际中使用该方法时候需要进行插值，不要直接将a(2,2)设置为其对应的value，而是将其value设置为与其周围四个pixel的距离，与双线性差值类似。
对输入的图像做相应的transform，对模型进行训练。
利用不同的transform来关注鸟的不同位置的特征。红色方框关注鸟嘴，绿色的方框关注鸟的身体。
693
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
