Deep Homography Estimation for Dynamic Scenes 论文笔记

Introduction

单应矩阵估计方法（传统+deep learning）

本文的工作

auxiliary loss function: compares the dynamic mask from the ground-truth dynamics map that is estimated from the training data.

Related Work

1.Pixel-based approaches

直接搜索使得两张图片对齐误差最小的单应矩阵

已有的误差度量和参数搜索算法（层次估计、傅立叶对齐）能够使得这些方法强大高效。

适用情况： 对缺乏纹理的图像具有鲁棒性，但难以处理 较大运动

2.Feature-based approaches

1. 使用算法(eg.SIFT and SURF)估计局部特征点
2. 在两张图片间匹配特征点
3. 对于一对匹配点，可基于 $p_1=H{p}_2$ 求解最小二乘问题来获得最佳单应矩阵

注意： 特征匹配时可能会产生错误，特征点可能会来自移动的对象，因此常使用RANSAC和Magsac等鲁棒估计算法来去除异常值。

适用情况： 该方法的性能取决于局部特征的检测和匹配，不太适用于模糊和缺乏纹理的图像

3.Deep learning approaches

以上方法 仅基于静态场景下取得成功，没有考虑动态场景

4.本文 multi-scale neural network 的改进

1. 相较于之前的hierarchical neural network的工作，我们的method从输入图像的低分辨率版本开始，逐渐增加输入图像的大小，而非在每个阶段都以原始输入图像作为input，这使得我们的方法相对于大运动更加稳健。
2. 相较于之前的Lucas_Kanade layer的工作，我们的method使用前一阶段估计的单应矩阵将输入图像预先对齐到下一阶段，以最小化全局运动。这有助于后期网络解决全局运动
3. 加入a dynamics mask network来处理动态场景。<之前的neural network-based未考虑的>

Experiments

评估指标：the mean corner error

$$e_c=\frac{1}{4}\sum _{j=1}^4||c_j-\widehat{c_j}|{|}_2$$

其中，$c_j$ 是 $cornerj$ 通过estimated homography变换得到的，$\widehat{c_j}$ 是 $cornerj$ 通过 ground-truth homography得到的。

训练集的影响

我们分别在动态场景的静态版本和动态版本上训练了homography network

动态区域大小的影响

Discussions

Scale selection

An important hyper-parameter of our multi-scale neural network：number of scales

Real-World videos

1. 我们使用合成数据集进行训练，并在NUS stabilization benchmark的video进行了测试
2. 实验结果显示我们的网络可以很好的应用于真实视频，并且可以通过检查dynamics masks来识别动态内容

Parallx

视差的简单解释：把手指放在据眼睛较近的地方，分别用左右两只眼睛看手指，会发现他们的位置不一样，用数学方式把这个差距计算出来，就是视差。

在上述真实世界的视频中我们发现我们的网络也可以处理视差。

我们在optical flow benchmarks的数据集 Middlebury和Sintel 上进行测试：

1. 使用我们的method来估计两个帧之间的homography
2. 使用计算出的homography将这两个帧对齐
3. 计算两个对齐的帧之间的光流

光流法(optical flow)简介

（c）中对齐后背景中几乎没有运动，而靠近相机的物体没有对齐，这表明，当我们把foreground objects也当作异常值(像dynamic object一样)去除之后，就能够找到一个homography来处理在尽可能大的区域里的运动。

我们的method就是通过检测 foreground objects 并也把它视作outliers进行处理。

Conclusion

1.收集了一个动态场景的大型视频数据集，并建造了合成数据集

2.开发了一个multi-scale,multi-stage deep neural network

3.用静态的MS-COCO数据集进行训练和测试，可以处理大型全局运动并获得最新的单应矩阵估计结果

4.用我们建造的dynamic-scene dataset训练网络，在一定程度上可以处理动态场景

5.我们的deep homography neural networks可以处理 动态场景、模糊场景、缺乏纹理 等图像。