Image-based localization using LSTMs for structured feature correlation

1. 文中提出很多场景使用deeplearning的方式还没有传统的sift的效果好

2. 本文主要是解决两种场景：1：无纹理。2:重复纹理

 

也是一个end-to-end的直接回归得到6dof pose的文章，只不过不仅仅使用了CNN。文章是CNN+LSTM的方式。

仍然使用pose 误差：

 

整体网路框架：

使用预训练的网络googlenet，同posenet一样最后的fc层输出的是2048维度的global feature。文章指出2048维度的feature可以表达的数据相当大，这样的话很有可能在posenet中造成overfiting

 

当然解决方法可以直接使用fc压缩特征，posenet中使用dropout的方式防止过拟合但是文章指出使用一个lstm的方式压缩feature更加有效

 

2.2. Structured feature correlation with LSTMs

在fc之后使用了4个lstm单元

直接将2048的feature送入lstm单元作用不大，直观上可以这样解释a：由于2048的feature长度太大导致可能记忆单元无法记录first->end时间的feature。

 

那么如何解决呢：首先将2048的feature转换成32 × 64 的矩阵，然后使用4个lstm的模版在四个方向上进行卷积操作，生成4个128维的featue，然后fc直接回归得pose（使用lstm模拟降维的过程）

 

一个效果图：

 

文中还发布了一个室内大型数据集，包括pose+rbg的图片（从360 degree的全景中解出来的）