论文阅读笔记 SIFT Flow

光流法

光流法SIFT Flow: Dense Correspondence across Scenes and its Applications采用光流的思想进行稠密点的匹配。
研究生期间做过基于光流法的目标跟踪，这里回顾一下光流法。

• 亮度恒定，同一点随时间的变化，其亮度不会发生改变，这是基本光流法的假定；
• 小运动，时间的变化不会引起位置的剧烈变化，这样灰度才能对位置求偏导（换句话说，小运动情况下，我们才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数）；
• 空间一致，一个场景上邻近点投影到图像上也是邻近点，且邻近点速度一致。这是Lucas-Kanade光流法特有的假定。因为光流法的基本方程约束只有一个，而要求x、y方向的速度，有两个未知变量。我们假定特征点邻域内做相似运动，就可以使用多个方程求解x、y方向的速度。

光流法用在双目视觉上，只需要考虑水平方向的光流速度。
分析低纹理区域可以使用轮廓信息 In between the sparse and dense representation is correspondence on contours, which has been used in tracking objects and analyzing motion for textureless objects.遮挡问题可以使用在markov random field上利用belief propagation和graph cut优化目标函数。

dense SIFT descriptors and visualization

对图像上每一个点只进行128维特征提取，per-pixel SIFT description 利用PCA提取前三位特征，映射到GRB空间，这一步用来可视化，匹配采用的是128D SIFT.

matching objective

希望sift描述子可以像flow vectors一样进行匹配：

• flow field应该是smooth的；
• 边缘区不连续；
• 能量函数有三部分：
  • data term （损失函数，sift特征随光流特征运动）
  • small displacement term （对光流的约束，小运动）
  • smoothness term (对光流的约束，空间一致)
• 考虑到匹配中的离群点和光流不连续性，数据项和平滑项用L1距离约束。
  解这个方程：采用dual-layer loopy belief propagation.平滑项将水平光流和竖直方向的光流去耦合。

coarse-to-fine matching scheme

计算量太大，利用金字塔，先得到一个coarse的结果，然后逐步propagate和refine。 SIFT pyramid

实验

可以用来做很多事dense scene alignment application