《Matching Local Self-Similarities across Images and Videos》,2007,CVPR
局部自相似描述子:
通常以前的描述子都假设相似的图像间会有相同的视觉特征,比如像素点的颜色、梯度、边缘等。通过提取这些特征,可以比对两张图像的相似度,诸如SIFT。
但是如上图所示,它们之间没有相同的底层特征。但是它们各自局部自相似部分的几何布局一样。就是说在相似的相对位置上,具有相似的描述子值。所以LSS可以做到检测出不同人不同背景不同着装做出的同一个复杂动作。
如上面两张图,取出对应的三个点,它们的自相似描述子非常类似(右边的圈圈)。
如何产生自相似描述子?
首先针对一个像素点q,以它为中心取一个patch(通常5*5),再以它为中心取一个region(比如以40个像素点为半径的区域)。
然后再对取出的区域,用如下公式 (1)计算相关面correlation surface:
要比较两张图片,就各自密集得计算出各个点的自相似描述子,再把描述子的相对位置附上,组合在一起就有了一张图像的表示方法。要找到两张图像的匹配区域,就是找到两张图像中一堆描述子的集合,它们有相近的值,相似的位置。
over~~