Locality Preserving Matching

代码：https://github.com/jiayi-ma/LPM
本文在已经通过SIFT描述子等方法得到两个特征集合的候选匹配关系之后，剔除错误的匹配。

代价函数的构造

理想情况下的代价函数

对于变换是简单的刚性变换，并且不改变特征之间的距离的情况，代价函数定义如下：
$${\mathcal{I}}^{\ast }=\arg \underset{\mathcal{I}}{\min }C(\mathcal{I};S,\lambda )$$
$$C(\mathcal{I};S,\lambda )=\sum _{i\in \mathcal{I}}\sum _{j\in \mathcal{I}}{\left(d\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\right)}^2+\lambda (N-|\mathcal{I}|)$$
其中 S = { ( x i , y i ) } i = 1 N S=\left\{\left(\mathbf{x}_{i}, \mathbf{y}_{i}\right)\right\}_{i=1}^{N} S={(xi​,yi​)}i=1N​表示在两张图片上提取的特征；$\mathcal{I}$表示内点集；$d$表示两个特征值之间的距离，比如欧几里得距离；$|\cdot |$表示集合的基数。
在理想情况下，第一项特征之间的距离应该为0。

考虑一般情况下的代价函数

在考虑到邻域结构在变换前后往往能够保持不变，对代价函数进行调整：
$$\begin{array}{l}C(\mathcal{I};S,\lambda )={\sum }_{i\in \mathcal{I}}\frac{1}{2K}({\sum }_{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}}{\left(d\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\right)}^2\\ +{\sum }_{j|{\mathbf{y}}_j\in {\mathcal{N}}_{{\mathbf{y}}_i}}{\left(d\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)-d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\right)}^2)+\lambda (N-|\mathcal{I}|)\end{array}$$
其中，${\mathcal{N}}_{\mathbf{x}}$表示$\mathbf{x}$的邻域，$K$表示邻域的基数。引入对于对是否是内点的判断函数$p_i$，1表示是内点，0表示是外点。由于特征之间的距离在变换之后可能发生变化，将距离函数改为对于点是否在邻域中的判断函数：
$$d\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=\{\begin{array}{ll}0,& {\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}\\ 1,& {\mathbf{x}}_j\notin {\mathcal{N}}_{{\mathbf{x}}_i}\end{array},d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)=\{\begin{array}{ll}0,& {\mathbf{y}}_j\in {\mathcal{N}}_{{\mathbf{y}}_i}\\ 1,& {\mathbf{y}}_j\notin {\mathcal{N}}_{{\mathbf{y}}_i}\end{array}$$
这样就可以将代价函数简化为：
$$C(\mathbf{p};S,\lambda )=\sum _{i=1}^N\frac{p_i}{K}\sum _{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{X}}_i}}d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)+\lambda \left(N-\sum _{i=1}^N{p}_i\right)$$

邻域拓扑改进

之前只考虑了是否在变换前都是邻域点，没有考虑邻域内变换的一致性。${\mathbf{v}}_i$ 表示 $\left({\mathbf{x}}_i,{\mathbf{y}}_i\right)$对应的坐标差值，${\mathbf{v}}_i$ 和${\mathbf{v}}_j$之间的差值定义为：
s ( v i , v j ) = min ⁡ { ∣ v i ∣ , ∣ v j ∣ } max ⁡ { ∣ v i ∣ , ∣ v j ∣ } ⋅ ( v i , v j ) ∣ v i ∣ ⋅ ∣ v j ∣ s\left(\mathbf{v}_{i}, \mathbf{v}_{j}\right)=\frac{\min \left\{\left|\mathbf{v}_{i}\right|,\left|\mathbf{v}_{j}\right|\right\}}{\max \left\{\left|\mathbf{v}_{i}\right|,\left|\mathbf{v}_{j}\right|\right\}} \cdot \frac{\left(\mathbf{v}_{i}, \mathbf{v}_{j}\right)}{\left|\mathbf{v}_{i}\right| \cdot\left|\mathbf{v}_{j}\right|} s(vi​,vj​)=max{∣vi​∣,∣vj​∣}min{∣vi​∣,∣vj​∣}​⋅∣vi​∣⋅∣vj​∣(vi​,vj​)​
其中，$s\left({\mathbf{v}}_i,{\mathbf{v}}_j\right)\in [-1,1]$，$(\cdot ,\cdot )$表示内积，值越大相似度越大，对相似度根据阈值进行二值化：
$$d\left({\mathbf{v}}_i,{\mathbf{v}}_j\right)=\{\begin{array}{l}0,s\left({\mathbf{v}}_i,{\mathbf{v}}_j\right)\ge \tau \\ 1,s\left({\mathbf{v}}_i,{\mathbf{v}}_j\right)<\tau \end{array}$$
改进之后的代价函数为：
$$\begin{array}{l}C(\mathbf{p};S,\lambda ,\tau )={\sum }_{i=1}^N\frac{p_i}{K}({\sum }_{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}}d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\\ +{\sum }_{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i},{\mathbf{y}}_j\in {\mathcal{N}}_{{\mathbf{y}}_i}}d\left({\mathbf{v}}_i,{\mathbf{v}}_j\right))+\lambda \left(N-{\sum }_{i=1}^N{p}_i\right)\end{array}$$

多尺度邻域优化

由于特征在图像上分布不均匀，同时外点的比例也会变化，固定的K值不利于问题的求解。
为了解决这个问题，本文提出了多尺度邻域算法，改进之后的代价函数为：
$$\begin{array}{l}C(\mathbf{p};S,\lambda ,\tau )={\sum }_{i=1}^N\frac{p_i}{M}{\sum }_{m=1}^M\frac{1}{K_m}({\sum }_{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}^{K_m}}d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\\ +{\sum }_{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}^{K_m},{\mathbf{y}}_j\in {\mathcal{N}}_{{\mathbf{y}}_i}^{K_m}}d\left({\mathbf{v}}_i,{\mathbf{v}}_j\right))+\lambda \left(N-{\sum }_{i=1}^N{p}_i\right)\end{array}$$

从代价函数得到内点

对代价函数进行整理，得到下式：
$$C(\mathbf{p};S,\lambda ,\tau )=\sum _{i=1}^N{p}_i\left(c_i-\lambda \right)+\lambda N$$
其中：
$$\begin{array}{rl}{c}_i=& \sum _{m=1}^M\frac{1}{M{K}_m}(\sum _{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}^{K_m}}d\left({\mathbf{y}}_i,{\mathbf{y}}_j\right)\\ & +\sum _{j|{\mathbf{x}}_j\in {\mathcal{N}}_{{\mathbf{x}}_i}^{K_m},{\mathbf{y}}_j\in {\mathcal{N}}_{{\mathbf{y}}_i}^{K_m}}d\left({\mathbf{v}}_i,{\mathbf{v}}_j\right))\end{array}$$
显然可得：
$$p_i=\{\begin{array}{l}1,c_i\le \lambda \\ 0,c_i>\lambda \end{array},i=1,\dots ,N$$

邻域构建

由于本文的假设是邻域匹配的一致性，但在外点比较多时，使用所有点构建邻域会破坏邻域一致性。为了改善这一点，本文使用迭代的方法构建邻域：
$${\mathcal{I}}_0=\arg \underset{\mathcal{I}}{\min }C(\mathcal{I};S,\lambda ,\tau )$$
$${\mathcal{I}}^{\ast }=\arg \underset{\mathcal{I}}{\min }C\left(\mathcal{I};{\mathcal{I}}_0,S,\lambda ,\tau \right)$$
多次迭代的改善效果有限，本文认为${\mathcal{I}}_0$已经可以作为内点集的良好近似。

时间和空间复杂度

算法的时间和空间复杂度分别为$O(N\log N)$和 $O(N)$