Image Matching using Local Symmetry Features

CVPR2012

motivation：面对风格、渲染、光照不同的图像对，匹配性能的提升。如下面三个图像对，用一般的方法难以匹配，所以提出新的方法用于这种情况。

假设：对称性在更大范围的外观中比在较低水平的线索中得到更好的保持。
方法简要：以图像为输入，计算图像和尺度空间上的局部对称分数。然后，这些分数用于生成一组特征检测，以及为每个检测到的特征定义描述符（类似于确定个人的身份证）。

根据局部对称性进行图像匹配 需要 从图像中获得局部对称性
从图像中获得局部对称性 需要 检测器和描述符
检测器和描述符 需要 对称分数

对称分数（symmetry scores）

​ 首先定义两种对称方式：线对称（bilateral symmetry）和点对称（2n-fold rotational symmetry）在极坐标下的表现形式如下所示：$$f\left(\rho ,{\theta }_s+\theta \right)=f\left(\rho ,{\theta }_s-\theta \right)$$ 和 $$f(\rho ,\theta )=f(-\rho ,\theta )$$。并且这两种对称性的1D切片也同样具备对称性，不同的是线对称的1D切片关于对称轴垂直，点对称的1D切片都会穿过对称点。具体内容见下图，其中的绿线为1D切片：

​ 定义完对称性之后，可以开始定义对称分数了，由三部分组成：1. 对称类别 2. 距离函数 3. 权重掩码。
​ 接下来我尝试一个一个解释这三者的必要性，$p=(x,y)$代表像素点的位置。

对称类别

​ 将$p$映射到对称类别为$s$的对称的点$q=(x,y)$上。$M_{s,p}:{\mathbb{R}}^2\to {\mathbb{R}}^2$，如果图像$f$在点$p$上是完美对称的话，那么对于任意点$q$都存在$f(q)=f(M_{s,p}(q))$.

距离函数

​ 当然，现实中不可能处处都是完美对称，因此映射后的点跟原本的点的像素值存在一定差异，也就是距离$d(\cdot ,\cdot )$，这里简单的将距离定义为两点差的绝对值:$d(q,r)=|f(q)-f(r)|$，在后文对距离函数做了调整。

权重掩码

​ $w_{\sigma }(r)$给出周围对应点对的重要程度，如果我们关注的是全局对称的话，则权值均为1；如果我们关注的是局部对称的话，现在$p$周围的点对$p$会更加重要，而离得远的点对（point pairs）对p的影响微乎其微。为简单起见，设置该权重径向对称，即，权重为距离中心点$p$的距离$r$的函数，这也允许创建对称的的尺度空间。

​ 因此对称距离为：$SD(p)={\sum }_q{w}_{\sigma }(||q-p||)\cdot d(q,M_{s,p}(q))$ $q$是集合，代表所有具备有效反射对的像素位置。需要注意，这个式子是一个距离，因此值越小，对称性越大。

​ 我们的距离函数是差的绝对值，这是基于原始图像的强度。这类对称距离组族称为：SYM-I。实践中考虑三种对称：水平双边对称（SYM-IH）、垂直双边对称（SYM-IV）、点对称（SYM-IR）。

​ 但是上面这种对称距离有一个问题：面对无聊的对称时（hhh,我这么翻译的，或者叫我们不关注的对称）比如大片的空白、大片相同的颜色，它们也具备较低的对称分数，并且是大面积的有这种较低分数。为了解决这个问题，我们使用LoG核（就是做一个图像的二阶导数，但是二阶导数对于噪音敏感，所以先做个高斯卷积去噪音，具体可见:https://zhuanlan.zhihu.com/p/92143464）对于SYM-IR使用标准的核，对于SYM-IH和SYM-IV，使用具有垂直于对称轴的对数轮廓和沿对称轴的高斯分布的核。（简单来说就是，前者把一维高斯分布绕中心点旋转，后者把一维高斯分布沿对称轴平移）。等式更新为：$SS=L\ast SD$对称距离变为对称分数函数。

​ 在距离函数中，我们的考虑是基于图像的原始强度，此外，我们还可以考虑基于梯度方向上的距离函数。（因为梯度方向对于光照变化更稳定，即，光照变，原始强度变，但是梯度不变）并且比原始强度更具有辨别力（这个我不理解）。

​ 具体实现为：对于位置$q$我们定义局部梯度方向的直方图（我理解是位置q周围一片小区域的直方图），然后使用向量值函数代替上面的标量值函数$f$（两个向量的点积）。这种变体我们称为：SYM-G。具体计算方法：用高斯滤波去噪，然后用别人论文的内容增强一下，然后再根据与$q$的距离做高斯加权，最后得到直方图（向量）$\hat{h}(q)=\frac{\hat{h}(q)}{||\hat{h}(q)||+ϵ}$。

​ 由于是翻转后比较，所以直方图也要对应翻转（方向会改变），然后计算两者点积，越大表示越相似，所以这就是变种的对称得分函数$SS$。相应的，这个有分为三类：SYM-GH、SYM-GV、SYM-GR

尺度空间

​ 在解决了局部对称分数的计算问题之后，我们讨论如何使用该分数检测特征。

​ 双边对称SYM-IH和SYM-IV存在问题：它们只在垂直于对称轴的方向上方向上有良好定位（比如说斜着对称，就不好检测到），相反，SYM-IR和SYM-GR评分函数在对称的中心区域有良好的局部峰值。但是对于SYM-IR在尺度空间中的局部化较差，因此我们更改权重掩码，见下图：

​ 上面三幅图是三个简单的样例，第一行是环形权重掩码，第二行是高斯权重掩码，中间内容的横坐标为kernel size，纵坐标是对称分数，竖着的红色虚线表示我们关注内容的对称半径。可以看见，高斯核的核大小，不会激发单独的环形，而且变换很慢，很难在尺度空间中精确定位，但是环形掩码就可以很好的激发特征进而定位。

​ 对于，SYM-G，我们发现高斯权重效果更好，做实验得出的结论。另外，对于SYM-H和SYM-V，单独使用效果不好，但是乘起来后，会构建出另一个检测器：对同时具有水平对称和垂直对称的检测。

​ 这是不同尺度的SYM-G对称性得分，第一行是精细尺度，第二行是粗略尺度，列：水平对称，垂直对称，两者乘积。

特征检测

​ 在图像上的每个位置以半径s画圆（s同样是尺度大小），选择其中的极大值，然后选择跨尺度局部强的特征子集。特别是，对于每个检测到的特征F，如果其在 支持度与F重叠超过阈值α的任何特征 中具有最高的对称分数，则我们保留F。

特征描述

是，对于每个检测到的特征F，如果其在 支持度与F重叠超过阈值α的任何特征 中具有最高的对称分数，则我们保留F。

特征描述

​ 对于一个关键点，我们对其周围的SYMI-H的分布进行编码，SYMI-V、SYMI-R也是同理。极坐标系网格（有点像全球地图从上往下看、或者像雷达）直径为s的四倍，在每个单元内存储对称分数的最大值，将三种不同对称类型的网格值连接并拼接起来，最后归一化。作者实验中使用了20个角网格和4个径向网格，为240维描述符（检测了三个，3×4×20）。

总结：
1.笔者对图像匹配也是第一次接触并不了解，所以可能内容会有点错误，请各位海涵。
2.局部对称性或许可能作为图像先验用于某种模块或者损失函数。
3.全篇内容谨代表个人观点。