NetVLAD：CNN architecture for weakly supervised place recognition

NetVLAD：CNN architecture for weakly supervised place recognition

写在前面：博主并不是做这个place recognition方向的，所以这篇paper我大概只看到netvlad层，后面的loss并不懂。因为近期做行为识别，想改进一下帧与帧之间的融合方案，所以过来学习一下vlad。

ps.github的netvlad用pytorch实现的代码并不多啊~好多都是tensorfow写的，可读性非常差....

abstract

本文的两点贡献：

1）提出NetVLAD,改进了原始的VLAD，该层可接在CNN结构后面

2）提出一种训练方案，based on a new weakly supervised ranking loss，使得VALD在CNN中的应用变成end-to-end

Method

1）给定一张图片Ii，函数f（放在网络中，就是一系列卷积+bn+激活+pooling等）产生一个固定size的向量，f(Ii)。如何优化产生的向量表征f(Ii)？通过改进的netvald。

2）place recognition的整体框架

        a）我们裁剪掉CNN的最后一个卷积层之后的其他层，并将它视为 a dense descriptor extractor。那么最后一个卷积层的输出为H*W*D的特征，对于每个空间点，都是一个D维度的向量。

        b）参考VLAD，设计新的pooling层，即NetVLAD，将得到的特征转化为固定大小的图像表征

3）NetVLAD

          回顾一下VLAD：captures information about the statistics of local descriptors aggregated over the image。给定N个D维度的图像描述符{xi}和k个聚类中心{ck}，则VLAD的输出为V，V是K*D维向量，V中第（j，k）个元素的计算方式：

这里ak(xi)是权重，表示空间特征上第i个点和第k个聚类中心的关系。如果对于xi，如果ck是最近的类别，则权重为1，否则为0。

但这里权重ak(xi)只能为1或0，改进一下，使得权重变为0-1之间的小数。

其实我看的也不太懂（之后看懂了再过来补）。直接上代码吧（pytorch版本）：

假设输入为2d图像，netvlad一般接在最后一个conv后面，那么输入到netvlad的特征，shape=[b,c,h,w]。一般c会很大，例如在resnet50中，c=2048。

1）如果normalize_input,则在dim=1进行归一化，也就是c的维度

2）求soft_assign,也就是上述的ak(xi),这里的conv是1*1卷积，将原channel维度降到k（聚类中心个数），然后view对特征x进行reshape，此时soft_assign的shape为[b,k,h*w]。再在dim=1，也就是k的维度进行softmax归一化

3）展开x，x_flatten的shape为[b,c,h*w]

计算x_flatten与聚类中心，self.centroids的残差，self.centroids的原始shape=[k,c],将x_flatten和self.centroids都扩展为适合减的维度。

4）残差与soft_assign相乘，后面就是参照公式的求和，归一化等等。