Spatial Transformer Networks

Spatial Transformer Networks是Deepmind团队去年的一个工作，一经发布就引起了大量关注，这篇文章把在图像识别前常做的alignment操作放到了neural network当中，不得不说方法很优雅也很work。我当时也在第一时间读了这篇文章，Deepmind的工作都很impressive，很多论文可能只需要花十几分钟甚至几分钟过一遍就可以，因为那些文章往往只是在前人的工作上做了一点点改进，而Deepmind的论文几乎都是有比较大的创新，并且实验充分，工作扎实。
这篇论文提出了Spatial Transformer Layer，如下图所示，论文中说的有点复杂，其实理解了也挺简单的，Localisation net是最关键的一步，以Affine transform为例，就是图片过一个CNN学习Affine transform需要的6个参数，这个CNN的输出就是这6个参数，然后剩下的两步其实就是做transform了，Grid generator就是将原始图片的每个点映射到做transform后的坐标，Sampler就是根据映射后的坐标做插值得到完整图像。其实很好理解也易于实现。


前几天我尝试在SVHN数据集上复现了下实验，网络和论文中不一样，自己随便搭了一个，最后用LSTM+CTC做识别，原始的准确率是93.2%，加了单个Spatial Transformer Layer后提升到了93.4%，论文里是从96%->96.3%，虽然准确率提升不多，但是可以看到很多倾斜的图片经过Spatial Transformer Layer后明显变正了，效果如下图所示。实验中感觉有几个地方需要注意，一是Localisation net要足够大才能比较好地捕捉到图片的抽象特征，可以参考论文中的结构，二是Spatial Transformer Layer的初始化要满足一开始输出图片和输入图片相同，否则一开始就随机对图片做transform很难训练得到比较好的结果。以Affine transform为例，Spatial Transformer Layer最后一层输出6个参数的全连接层初始化的weight为0，bias为1 0 0 0 1 0，这样就能开始时保证输出图像和输入图像一样。我一开始做实验没有注意这一点，浪费了不少时间。

这个实验还比较好做，并且对处理倾斜的物体确实有效果，大家有兴趣可以试一下

转载自：http://lufo.me/2016/09/spatial_transform/