[place recognition]NetVLAD: CNN architecture for weakly supervised place recognition 论文翻译及解析（转）...

[place recognition]NetVLAD: CNN architecture for weakly supervised place recognition 论文翻译及解析（转）

https://blog.csdn.net/qq_32417287/article/details/80102466

abstract

本文关注的是大规模的地点识别问题，任务是从一张图像中快速准确地识别位置。
1. 提出一种卷积神经网络结构，可以实现端到端的识别。主要组件是 NetVLAD，这是一个新生成的VLAD层。NetVLAD 可以很容易地运用到任何的CNN结构中，并且可以使用BP优化。
2. 基于一种新的弱监督排序损失（a new weakly supervised ranking loss），提出了一个训练过程，来学习得到所需要的参数。使用的数据集是Google Street View Time Machine。
3. 结果显示我们提出的结构得到的特征比其他非学习的图像表示（non-learnt image representations）以及现有的CNN描述子得到的特征要好，

introduction

地点识别现在主要应用在自主驾驶，增强学习等
地点识别一个挑战是，我们如何在一个城市或国家中识别相同的街角，即使有光照等其他因素的影响。关键问题是如何找到这样的一个具有代表性并且具有区分性的地方。

传统做法是将地点识别问题看作实例检索任务，使用具有局部不变性的特征（SIFT）来表示每一个图像，然后将特征聚合成一个向量表示，方法有 BOW， VLAD， FV等。近些年，CNNs的出现为多种类级的识别任务提供了更强性能的图像表示。

虽然CNN能够用在较大的数据集上，但是如果直接迁移使用CNN，那么它作为一个黑盒进行特征提取，对于实例识别任务会在性能上有限制。所以本文的任务是探究这种性能上的差距能够使用CNN特征减小。主要的问题是：

• 如何定义一个好的CNN结构，
• 怎样得到足够多的标注数据
• 怎么训练来提升结构性能

第一，基于现有的神经网络架构，本文提出一种一个带有VLAD层的卷积神经网络结构，NetVLAD，可以被加到任何的CNN结构中，并且可以使用BP算法优化，然后使用PCA降维得到compact descriptor of the image。

第二，为了训练网络，使用 the Google Street View Time Machine 收集了大量的不同时间不同角度相同地点的全景图。通过这些数据进行训练是弱监督学习：两幅相似的全景图是通过他们的GPS特征近似得到的，但是并不知道图像中的哪个部分决定了这两幅全景图是同一个地方。

第三，使用了端到端的模式来学习得到参数。得到的特征对于视角和光照情况具有鲁棒性。

method overview

将地点识别问题看作是图像检索问题，有未知地点的图像作为查询图像，检索一个地理标注的数据集合，然后返回排序较高的图像。

图像特征提取： offline
待查询图像特征： online
goal：找到与待查询图像最近的图像，欧氏距离 Euclidean distance ， 也有其他的距离计算方法，但是本文采用的是欧氏距离。

本文提出以端到端的方式学习图像的特征表示 ，特征表示通过