模板匹配综述-SSD，BBS，DDIS，CoTM，QATM

简单看了几篇模板匹配相关的论文，总结了一下，后期待修改

模板匹配介绍

模板匹配是计算机视觉应用中最常用的技术之一，可以应用在视频跟踪，图像拼接，目标检测，字符识别和3D重建等方向上。
模板和目标图像的子窗口之间的相似性度量是模板匹配的核心部分。

传统的模板匹配相似性度量

传统的模板匹配方法通常使用平方差和（SSD，sum-of-squared-differences）或归一化积相关（NCC，normalized cross-correlation）等来计算模板与基础图像之间的相似度得分。
在搜索图S中，以(i,j)为左上角，取MxN大小的子图，计算其与模板的相似度；遍历整个搜索图，在所有能够取到的子图中，找到与模板图最相似的子图作为最终匹配结果。

SSD

平方差和，数值越大相似度越小。

NCC

利用子图与模板图的灰度，通过归一化的相关性度量公式来计算二者之间的匹配程度。

传统算法评价：

-优点：

①思路简单，容易理解。②运算过程简单，匹配精度高。

-缺点：

①运算量偏大。②对噪声非常敏感。

总结：

当模板和目标搜索图像之间的转换很简单时，这些方法效果很好。但是，当转换复杂或非刚性时（stretching or shrinking），这些方法的成功率会大幅下降。 另外，其他因素（例如遮挡和颜色偏移）也会对这些方法造成很大影响。
并且，这种方法测量相似性时考虑模板和目标图像中的候选窗口中的所有像素（特征点）。当目标背后的背景改变时，这种方法是不可取的。

BBS（Best-Buddies-Similarity）

Introduction

CVPR2015 论文地址

本质是Best-Buddies Similarity（BBS算法）。这是一种在两个点集之间的无参鲁棒相似性测量，核心是计算Best-Buddies Pairs（BBPs）的数量。

Method

用传统的滑动窗口方法，在模板和图像中每个可能的窗口（模板大小）之间同样计算出BBS。

BBS

首先需要将每个图像块转换为${\mathbb{R}}^d$中的一个点集。为此，把图像分成若干个的k x k图像块。每个图像块由其RGB值组成的$k^2$个矢量和中心像素相对于坐标系的xy坐标表示。

BBS测量了两个点集P和Q之间的相似性，当$p_i$和$q_j$互为最近邻时，他们为一组BBP（原集和目标集中的点对，每个点都是另一个点的最近邻）。

点集P和点集Q之间的BBS定义为：（d（）为距离函数,上标A表示像素外观（例如RGB），上标L表示像素位置（标准化为[0，1]的色块内的x，y），λ= 2)

BBS随两点集的分布区别增大而减小，两个分布相同时取得最大值。如果两个点是BBP，它们很可能是从相同的分布中提取的。

BBS的主要特性为

• 只依赖于匹配点（BBPs）的子集（通常很小），其余的被视为外点，对于大部分异常点具有鲁棒性
• BBS可以找出数据中的双向匹配点而不需要任何先验知识或者潜在变形
• BBP通过计算BBP的数量进行排名，而不是使用实际的距离值

CONCLUSION

在存在高水平的异常值（即背景噪声、遮挡）和目标的非刚性变形的情况下，将模板与给定图像匹配。可以抵抗复杂的几何变形和高度异常的点（背景噪声和遮挡）。
BBS可以在存在异常值的情况下可靠地匹配来自同一分布的特征，在视角变换和集合变形下依然可以进行稳健的模板匹配。
缺点是当模板与目标图像相比很小时，或者离群值（遮挡对象或背景杂波）覆盖了大多数模板时，成功率会降低。

DDIS （Deformable Diversity Similarity）

Introduction

——CVPR2017 论文地址

DDIS明确考虑了可能的模板变形，并使用了模板和搜索图像中潜在匹配区域之间的NN特征匹配的多样性。

采用了基于特征的BBS无参数方法。基于目标图像窗口和模板之间特征匹配的多样性，它对复杂的变形，明显的背景杂波和遮挡具有鲁棒性。

Method

Diversity

我们的关键思想是通过最近邻域（NN field）的两个属性来得到目标和模板之间的相似性。

首先，如图2d所示，当目标和模板对应时，大多数目标patch在模板中具有唯一的NN匹配。这意味着最近邻域高度多样化，指向模板中的许多不同的patch。

相反，如图2e所示，对于任意目标，大多数patch都没有很好的匹配，并且NN收敛到恰好与目标patch相似的少量模板点。第二，不佳匹配往往意味着较大的变形，如图2e中的长箭头所示。

DIS & BBP

对每个q，都有一条红箭头指向它的NN p，如果p q为BBP，将两点之间的红箭头改为绿线。
DIS计算由红色箭头或绿线指向的蓝色三角形数量。BBS计算绿线数量。

• （a）P和Q的分布相似，因此，许多p是某些q的NN，并且有很多BBP。这里DIS = BBS =8。
• （b）P和Q具有不同的分布。密集p中的单个q或密集q中的单个p对DIS和BBS均贡献1。有时，Q和P之间存

在唯一的NN匹配，而不是BBP。由于P和Q的分布不同，DIS和BBS都相对较低，因此DIS = 3和BBS = 2。

DDIS

为了整合对大变形的惩罚，对DIS进行了两种修改：

• 首先，为了获得变形场的显式表示，区分每个patch的外观和位置并将它们分别对待。
• 其次，提出了另一种测量多样性的方法，该方法可以考虑变形量。
  令$p^a$表示外观，而$p^l$表示patch p的位置(q同理)。

我们为每个点 q j q_j