【每周论文阅读-第五周】01 MANet：Fully Motion-Aware Network for Video Object Detectio

MANet： Fully Motion-Aware Network for Video Object Detection

文章链接：http://openaccess.thecvf.com/content_ECCV_2018/papers/Shiyao_Wang_Fully_Motion-Aware_Network_ECCV_2018_paper.pdf
来源：ECCV 2018

在视频目标检测中，常用光流来估计前后帧的运动，并将其作为不同帧特征校准的参照，但是有些工作通过实验已经证明在帧间信息变化较快时（特别是目标被遮挡时），光流估计会失准。本文通过将实例级的特征校准与原来像素级的像素级特征校准（光流传播）结合用来准确的估计目标的运动变化。并且作者观察到像素级的特征校准对于目标的非刚性变化（例如，动物的姿态变化）效果很好，而实例级的特征校准对目标的刚性变化（例如，汽车的位移）效果很好，并且实例级特征校准对视频中的目标遮挡更加鲁棒。

方法

作者将推出的方法分为三部分：像素级特征校准，实例级特征校准，如何结合两种方法实现完全的运动估计
先上图

1 像素级校准

像素级校准就是通过对当前帧和相邻帧之间的运动估计，将相邻帧的特征聚合到当前帧，进一步优化当前帧的检测结果。具体而言对于当前帧${\mathbf{I}}_t$，和其相邻帧${\mathbf{I}}_{t-\tau }$（或是${\mathbf{I}}_{t+\tau }$），通过特征提取器${\mathcal{N}}_{feat}$得到特征${\mathbf{f}}_{t-\tau },{\mathbf{f}}_t$，我们想要将${\mathbf{f}}_{t-\tau }$聚合到${\mathbf{f}}_t$中：

1. 通过FlowNet估计从${\mathbf{I}}_t$到${\mathbf{I}}_{t-\tau }$的光流场$\mathcal{F}\left({\mathbf{I}}_{t-\tau },{\mathbf{I}}_t\right)$。

2. 将光流场作为参照将${\mathbf{f}}_{t-\tau }$与${\mathbf{f}}_t$对齐，对于当前帧的某一位置$\mathbf{p}$通过光流场可以得到其相对于相邻帧的位置变化$\Delta p$，现在我们得到了当前帧$\mathbf{p}$位置在相邻帧上的位置映射$\mathbf{p}+\Delta \mathbf{p}$。之后用双线性插值$G(\cdot )$ 将${\mathbf{f}}_{t-\tau }$对齐到${\mathbf{f}}_{t-\tau \to t}$ ，如下式。

   $\begin{array}{rl}\Delta \mathbf{p}& =\mathcal{F}\left({\mathbf{I}}_{t-\tau },{\mathbf{I}}_t\right)(\mathbf{p})\\ {\mathbf{f}}_{t-\tau \to t}(\mathbf{p})& =\sum _{\mathbf{q}}G(\mathbf{q},\mathbf{p}+\Delta \mathbf{p}){\mathbf{f}}_{t-\tau }(\mathbf{q})\end{array}$
   $G(\mathbf{q},\mathbf{p}+\Delta \mathbf{p})=\max (0,1-\Vert \mathbf{q}-(\mathbf{p}+\Delta \mathbf{p})\Vert )$

3. 然后我们将当前帧的特征和相邻帧对齐后的特征聚合，与之前光流估计方法不同这里直接求各个特征的均值。
   f