On the burstiness of visual elements

Hervé Jégou, Matthijs Douze, Cordelia Schmid, INRIA LEAR组，CVPR09，被引用次数：180
阅读时间：2015-04-09~10

文章揭示了图像集中存在大量多次出现的视觉元素，即重复模式。这样视觉元素会严重影响图像检索时的相似度计算，所以需要除去burstiness元素，文中提出了三种方法：

1. 移去多次特征点匹配；
2. 抑制图像内burstiness词的匹配得分；
3. 抑制图像间burstiness词的匹配得分。

Removing multiple matches

BOF方法中，query图像中的某一个关键点可能匹配到database中某张图的多个关键点，于是在累加inverted file时会多次得分，这样是不正确的。同样，database中某张图的一个关键点匹配到query图像中的多个关键点时，也是错误的。文中提出的策略为query的关键点仅单一匹配inverted file，选择最小Hamming Distance计算得分，且计算过的database图像关键点不再参与下次匹配。

Intra-image burstiness

某种模式在一张图像中多次出现（比如窗户）时，这样的点称之为intra-image burstiness。query图像中多个某个关键点匹配到database某张图一个关键点时，并不是强硬地删除该关键点，而是通过图像内的burstiness抑制手段：

$${t_q}\left( {i,b} \right) = \sum\limits_{j/q\left( {{y_b},j} \right) = q\left( {{x_i}} \right)} {m\left( {i,b,j} \right)}$$ 这里 $x_i$表示query图像 $x$的第$i$关键点， $y_{b,j}$表示database图像 $b$的第$j$关键点，通过inverted file能把 $q\left( y_b,j\right)$关联起来，公式表示对 $q\left( y_b,j\right)$的多个点（如果有多个的话）相似度值（ ${idf}^2 \times \exp \left( {{{ - h_d^2} \over {{\sigma ^2}}}} \right)$）求和。然后更新该关键点的相似度值 $$m\left( {i,b,j} \right): = m\left( {i,b,j} \right)\sqrt {{{m\left( {i,b,j} \right)} \over {{t_q}\left( {i,b} \right)}}}$$

Inter-image burstiness

多幅图像中重复出现某种模式，其实已用idf权重抑制过了，但这仅考虑词频，没针对图像元素相似度的考虑。文中扩展了idf权重：

$${t_b}\left( i \right) = \sum\limits_b {\sum\limits_j {m\left( {i,b,j} \right)} }$$ 表示query关键点匹配到database所有图像的得分和。然后更新该关键点的相似度值 $$m\left( {i,b,j} \right): = m\left( {i,b,j} \right)\sqrt {{{m\left( {i,b,j} \right)} \over {{t_b}\left( i \right)}}}$$

Evaluation