Unsupervised Image Matching based on Manifold Alignment（笔记）

这是一篇关于无监督流形对齐方法的论文，这里从论文的第三部分开始说明文章的主要算法步骤，前两部分introduction和related work省略。

1.UNSUPERVISED IMAGE MATCHING（原文第三节）

  这一节给出了估计两个图像数据集之间对应关系的方法。

给定两个图像数据集, 每幅图像的像素点构成一个向量(就是把一幅图像拉成一列作为一个样本)。

用S和T表示两个流形，S = {si | i = 1,... , m}， T = {ti | i = 1,..., n}， S和T的样本维数和个数都可以不同。对齐的目标是最小化源流形和目标流形的距离，同时保持流形的局部结构。一旦获得了流形与流形之间的最小距离，就可以基于最小对应点在嵌入空间中找到最接近的对应点。

在本文的流形对齐框架中，局部特征匹配引入基于流形固有结构的相似性。参数化的距离曲线用来描述一个样本点与其他样本点之间的联系。利用曲线距离度量两个流形见的局部结构的相似性。曲线距离最小的即为对应点。具体在sction 4中介绍。

在section 5中，我们计算理性对齐作为扩展的放射变换说明局部结构的不同。 放射变换被分配到灭个采样点而不是整个空间，表示为（p+1）x q的矩阵 ， p和q 分别表示S和T的维度。

给出放射变换矩阵后，源流形和目标流形被转换到一个共同的空间中。 最近的点对（si, tj）被认为是匹配图像。 在此框架中，图像集合的对应归结为流形间固有结构的相似。

2. VALID LOCAL FEATURE MATCHING（原文第四节）

在无监督的图像匹配中，没有对应图像的先验信息。 流形上基于相似结构(structure similarites)的有效局部匹配估计(estimate valid local matchings)是必不可少的 。 在Wang Chang的 (Manifold Alignment without Correspondences) 利用k近邻距离矩阵描述局部结构，在特征匹配的过程中要考虑k! 次近邻的排列方式，其时间复杂度O(k!), 在本文中，利用参数化的曲线表示有效特征匹配。 特征匹配基于这样的假设：对应特征与流形上的其他点有相似的联系。 一个点与其他流形的联系用一个距离向量表示， 进一步转化成连续的参数曲线。 参数曲线相似的点对属于局部匹配特征。

定义距离矩阵： ，  ，  是S上第i个点到它的第j个近邻的距离。  ， h是流形上点的索引函数。 是目标流形T中的距离表示。源流形和目标流形的近邻个数分别表示为ks 和kt， 矩阵表示样本点到它的ks个近邻的距离，给定一个合理的近邻，流形可以从距离矩阵中被重新构造。如果我们选择的近邻个数是m-1(m为S流形上样本点的个数)，则向量 表示第i个点和流形上所有其它点之间的距离。 对距离值排序后，其每个样本对应的距离值是单调递增的。

在计算距离之前，先要进行尺度归一化。

• 首先，对嵌入空间的点进行中心化处理
• 第二，the largest component extension in the embedding space is computed， 选择目标流形作为参考

归一化完成后两个流形扩展到同一个尺度。在归一化后的空间中，距离矩阵可以作为局部特征的相似性度量。

距离矩阵可以是不同维的，即  为了测量局部流形之间的相似度，引入参数化的曲线表示。利用B样条差值(B-spline)将离散的距离向量 拟合到曲线 。将会的到一组表示源流形和目标流形的参数化曲线。如图：

。这个距离矩阵可以转换为 和 两个流形间的曲线距离 依据折线覆盖的区域和梯度计算，计算公式如下：

其中，

是两个曲线覆盖区域之差。 和 是两个曲线的梯度，常量 用来平衡这两项。在实验中设为0.1。近邻个数统一选择为k,

两个流形之间的距离矩阵表示为： 表示局部流形结构的相似性。矩阵中的元素 表示S流形上第i个点和T流形上第j个点的局部结构的相似性。给定矩阵 后，局部特征匹配集合C就可以确定了。

的可视化如图所示：

在实验中，接近10%的点对被选作局部匹配特征，只有当 ，第i行的最小值小于  （si, ti）值为局部有效匹配，  不用手动选择，我们保持10%的matching pairs,值设置为 中最小的前10%的值。

3. NON-RIGID MANIFOLD ALIGNMENT（原文第五节）

一旦在局部特征匹配过程中获得两个流形间对应点对的集合，稠密的对应关系就可以通过不严格(non-rigid)对齐技术来估计。 目标是找到一个流形S与流形T之间的映射函数： ， 这个函数不需要时双射的，源空间中的一个样本点在目标空间中可以有多个对应点。 这个对齐通过一个非线性的优化框架解决，目标函数 保持距离最小化， 结构保持以及局部特征对应。对S流形上的样本点si分配放射转换矩阵 。

对于不在C中的点，用距离项 测量联合嵌入空间中的内部流形距离

函数dist(.) 测量转换样本点 和目标流形之间的距离。 点到流形的距离定义为点到点的最短距离。

Ed is imposed to all points in S except those in the local matching set C, which are addressed in the feature term.

用于在转换过程中约束局部结构，

Frobenius范式测量放射转换矩阵之间的差异

对于C（local feature matching set）中的点对：

wij 是用热核函数计算的权值 在热核函数中r = 0.03, 可以看出，si 和 ti 结构月相似，权值越大。

目标函数式一个关于权值的几个最小化问题的组合，包括流形距离最小化，结构保持和特征对应。

这里，  

 Dense Matching

在对齐后的联合嵌入空间中最近的点对看做匹配图像。目标流形上对si的匹配点满足；

其中 ，对齐后的距离矩阵 

这里：

具体的算法步骤：

文献： Yuru Pei, Fengchun Huang, Fuhao Shi, Hongbin Zha.  Unsupervised Image Matching based on Manifold Alignment . Pattern Analysis and Machine Intelligence,IEEE Transactions on, 34(8):1658 –1664, Aug.2012.