SIFT流：关于场景的密度对应及其应用（存疑）

摘要：

　　尽管图像对齐（img alignment）已经在计算机的不同领域被研究了好几十年，但是对齐描绘不同场景的图像还是一个很有挑战性的问题。类似于用时间上相邻的帧来对齐的光流，我们提出了SIFT flow ，这个手段能将图像对齐于它最近的邻居在一个包含各种景象的。SIFT流算法包含匹配密度取样？（matching densely sampled），两幅图像间的像素级SIFT特征？（pixel-wise SIFT features）,同时保留空间的不连续性。SIFT特征能够强壮（robust）对于两个不同场景/物体外貌的匹配。实验显示这个方法能够强壮地对齐复杂的包含可观的空间差距（spacial different）的场景图像对。基于SIFT流，我们提出了以对齐为基础的大型数据库框架以来惊醒图像分析和综合，在这里图像信息已经从最近的邻居图像被转换成问题图像（query image）。这个框架在具体的应用中被示范，比如单幅图片的移动领域预测，通过目标转移的移动合成（motion synthesis），卫星图像登记和人脸识别。

1.介绍

　　1.其他方法都是像素级的，而我们是场景级的

　　2.受启发于光流（optical flow），它是应用于视频的两个相邻的帧，而SIFT则是匹配两幅任意的图像

　　3.我们进行了两个创新的应用：一是从一副静止的图像中进行动作预测（基于一个大的视频库），二是图像对齐

　　4.the discontinuity-preserving spatial model allows matching of objects located at differet parts of the scene

2.相关工作

　　1.大概是用SIFT flow做的图像对齐所对应的一些设置。

　　　　1.用什么做对齐。What to align,or the featrures that are consistent across images,e.g. pixels,edges,decriptors

　　　　2.用什么方式对齐。Which way to align,or the reprenstation of the alignment,e.g.sparse vs. dense,parametric vs. nonparametric

　　　　3.如何对齐。How to align,or the computational methods to obtain alignment parameters.

　　2.比起像素，SIFT更加稳定地进行匹配。

　　3.对应物的表示方法(representation of the correspondence)是图片对齐的又一个重要方面。结论：lead us to seek for dense,pixel-wise correspondence for scene alignment.

　　4.这段没懂

　　5.过去的图像表示，如color histograms，texture models，segmented regions等等都缺少有意义的不同图像区域的对应（meaningful correspondences across different image regions）因此空间结构信息都被忽略了。（猜：这里的目标是将两幅图中相似的区域对应起来）

3.SIFT流算法

　　1.密度SIFT的描述符（descriptor）和可视化

　　　　1.SIFT是一个局部描述符来描述局部的梯度信息，这篇文章我们只用它来提取元素。对于每一个像素我们都进行八个方向的操作。。我们把这个每一个像素都有相对的SIFT描述符而形成的图叫做SIFT图

　　　　2.如图，每个方向都有对应的颜色，，每个SIFT描述符相对应的颜色在图像上表示出来。（我们只用到了每个描述符的头三个元素对应RGB，只是为了可视化，一共是128维）

　　　　3.图像尽管看上去很脏，但分辨率很高

 　　2.匹配目标

　　　　1.目标公式包含三个项：

　　　　　　1.数据项（data term）：限制SIFT描述子在流向量（flow vector）即位移 W(p)的作用下匹配

　　　　　　2.小位移项（small displament term）：限制了位移的大小，使它尽可能的小

　　　　　　3.平滑项（smoothness term）：限制相邻的像素的流向量相似

　　　　　　4.d和t作为阙值防止异常点

　　　　2.用dual-layer loopy belief propagation作为优化目标方程的基础算法。（算法的具体操作看不懂）

　　3.由粗到细的匹配方法

　　　　1.每个像素都算过去，时间和内存浪费太大，所以应用了一个由粗到细的匹配方法。（coarse-to-fine SIFT flow matiching scheme）

　　　　2.基本思想就是：先在一个粗糙水平的格子图（image grid）上粗略地计算流（flow），然后逐步扩散和改善流从粗糙到精细。

　　　　3.细节还要继续看

　　4.SIFT流邻居

　　　　1.与光流应用于视频相邻的帧类似，我们用SIFT在整个图像库中找出最相近的K张图片。

4.视频检索/恢复（retrival）的实验

　　1.视频检索/恢复的结果

　　　　1.先用histogram intersection找出邻居。然后用SIFT flow 算法来计算出密集对应。用平滑项来定义最小能量找出最好的匹配

　　2.衡量算法的优劣（结论应该是很好）5.稠密情景对齐应用

 

Scale-invariant feature transform (or SIFT )

转载于:https://www.cnblogs.com/zlhsblog/p/7512604.html