Reranking 论文笔记

Reranking论文笔记

最近做了一个ReID的项目，算是开始入门学习，中间学习、掌握的一些东西开始用博客记下来，也算是自己再梳理一遍。
论文：Re-ranking Person Re-identification with k-reciprocal Encoding

第一章 Abstract

第二章 Related Work

第三章 Proposed Aproach

一、Problem Definition

二、K-reciprocal Nearest Neighbors

一个Probe person：p，和一个gallery set: G
K-nearest neighbors: 在gallery set G中对p按距离顺序排列，取前k个。论文中用的是Mahalanobis distance（马哈拉诺比斯距离，协方差距离）
N ( p , k ) = { g 1 0 , g 2 0 , . . . , g k 0 } , ∣ N ( p , k ) ∣ = k . N(p,k) = \{g_1^0,g_2^0,...,g_k^0\},|N(p,k)|=k. N(p,k)={g10​,g20​,...,gk0​},∣N(p,k)∣=k.
K-reciprocal: 两者相互均在k-nearest neighbors中
R ( p , k ) = { g i ∣ ( g i ∈ N ( p , k ) ∧ ( p ∈ N ( g i , k ) ) } R(p,k) = \{ g_i | (g_i \in N(p,k) \land(p \in N(g_i,k)) \} R(p,k)={gi​∣(gi​∈N(p,k)∧(p∈N(gi​,k))}

for gi in  N_p_k:
	if p in N_gi_k:
		k-reciprocal.append(gi) 

由于照明、姿势、视角、遮挡的变化，会导致一些positive image从k-nearest neighbors中踢出没有进入k-reciprocal nearest neighbors。
$$\begin{gathered} R^{\ast }(p,k)\leftarrow R(p,k)\cup R(q,\frac{1}{2}k) \\ s.t.|R(p,k)\cap R(q,\frac{1}{2}k)|\ge \frac{2}{3}|R(q,\frac{1}{2}k)|, \\ \forall q\in R(p,k) \end{gathered}$$
对k-reciprocal nearest neighbors 计算每个元素的1/2k的k-reciprocal nearest neighbors 然后加入构成k-expansion-reciprocal nearest neighbors。
这个结果并不是用于当做top rank images, 而是作为计算p和gallery之间距离的一个基础。

Jaccard Distance

得到这两个集合的交集和并集是非常time-consuming的，而且当每对图片的 jaccard distance都要计算时，这个挑战更大。另一种可替代的方法是将 neighbor set编码成更加简单但是等价的向量。
$$V_p=[V_{p,g1},V_{p,g2},...,V_{p,gN}]$$
$$V_{p,gi}=\{\begin{array}{ll}1,& \text{ if gi∈R∗(p,k)}\\ 0,& \text{otherwise}\end{array}$$
因此：
$$\begin{gathered} |R^{\ast }(p,k)\cap R^{\ast }(g_i,k)|=||min(v_p,v_{g}i)|{|}_1 \\ |R^{\ast }(p,k)\cup R^{\ast }(g_i,k)|=||max(v_p,v_{g}i)|{|}_1 \end{gathered}$$
$$d_J(p,g_i)=1-\frac{{\sum }_{j=1}^{N}min({\nu }_{p,g_i},{\nu }_{g_i,g_j})}{{\sum }_{j=1}^{N}max({\nu }_{p,g_i},{\nu }_{g_i,g_j})}$$

Local Query Expansion

考虑到，相同class的图片有相似的feature。
$${\nu }_p=\frac{1}{N(p,k)}\sum _{g_i\in N(p,k)}{\nu }_{g_i}$$

Final Distance

$$d^{\ast }(p,g_i)=(1-\lambda )d_J(p,g_i)+\lambda d(p,gi)$$

Complexity Analysis

计算prop和gallery成对距离复杂度为，最终排序复杂度