2017-SpyNet

1. 概述

2. Spatial Pyramid Network

2.1 Spatial Sampling

设$d(\cdot )$为降采样函数，它将一个$m\times n$图像$I$抽取到大小为$\frac{m}{2}\times \frac{n}{2}$的相应图像d(I)。设$u(\cdot )$是对图像进行上采样的反向操作。这些操作符还用于对光流场$V$的水平和垂直分量进行下采样和上采样。我们还定义了一个warping operator $w(I，V)$，它根据流场V，使用双线性插值处理输入图像$I$。

2.2 Inference

设$G_0，...，G_K$表示一组训练过的卷积神经网络(convnet)模型，每个模型都计算残差流，$v_k$:
$$v_k=G_k(I_k^1,w(I_k^2,u(V_{k-1})),u(V_{k-1}))\text{\hspace{1em}(1)}$$
在第$k$个金字塔层。卷积网络$G_k$使用来自前一个金字塔级的上采样流$V_{k-1}$和在k级的帧 { I k 1 ， I k 2 } \{I_k^1，I_k^2\} {Ik1​，Ik2​}来计算残差流$v_k$。第二帧$I_k^2$依据光流进行处理：$w(I_k^2，u(V_{k-1}))$。在第$k$层金字塔层的$V_k$是：
$$V_k=u(V_{k-1})+v_k\text{\hspace{1em}(2)}$$

我们从降采样图像 { I 0 1 ， I 0 2 } \{I_0^1，I_0^2\} {I01​，I02​}和一个处处为零的初始流估计开始。将网络$G_1$和 { I 1 1 、 w （ I 1 2 、 u （ V 0 ） ） } \{I_1^1、w（I_1^2、u（V_0））\} {I11​、w（I12​、u（V0​））}一起计算剩余流量$v_1$。在每个金字塔层级上，我们使用方程（2）计算流$V_k$。流$V_k$也类似地传播到更高分辨率的金字塔层，直到我们获得全分辨率的流$V_K$。

3. Traning and network architecture

我们根据给定输入 { I k 1 ， w ( I k 2 ， u ( V k − 1 ) ) 、 u ( V k − 1 ) } \{I_k^1，w(I_k^2，u(V_{k−1}))、u(V_{k−1})\} {Ik1​，w(Ik2​，u(Vk−1​))、u(Vk−1​)}独立地、顺序地训练每个 { G 0 ， . . . ， G K ) } \{G_0，...，G_K)\} {G0​，...，GK​)}。我们将目标残差流${\hat{v}}_k$作为目标流Vk在第k个金字塔水平的值与由训练得到的上采样流$u(V_{k-1})$的差值.
$${\hat{v}}_k={\hat{V}}_k-u(V_{k-1})\text{\hspace{1em}(3)}$$

我们训练每个网络$G_k$，以最小化残差流$v_k$的平均端点误差(EPE)损失.

$w(I_k^2,u(V_{k-1}))$的输出是3 channel，$u(V_{k-1})$的输出是2 channel。所以，最后是将$G_k$的输入全部拼接成为一个8 channel的输入。该文训练了5个网络{G0，…，G4}，这样每个网络$G_k$都使用之前的网络$G_{k-1}$作为初始化。

4. 结果

Reference:Optical Flow Estimation using a Spatial Pyramid Network