SVDNet for Person Retrival
这篇文章中使用了SVD分解,用在了全连接层的地方。出发点是为了使得全连接层中的代表每个identifity的向量之间具有正交关系,如果在训练过程不加入这个限制,那么全连接层的向量之间很可能存在相关性。这里面存在的问题是:在进行gallery和query的匹配寻找过程中,是直接测量两个特征向量之间的欧氏距离或者余弦距离,而在网络的训练过程中,是先将特征向量向全连接层中代表不同identifity的向量做投影,导致的一个问题是,即使在特征层面的距离上两个向量之间的距离很小,但是投影到identifity上的投影可能具有了比较大的差异,这就导致了训练的目标和我们想要在测试过程中达成的目标之间存在了一定的偏差。下面的图片是文章中的一个形象化解释
一篇知乎文章对这个文章进行了解读:https://zhuanlan.zhihu.com/p/29441765