Oral of CVPR 2018 解读：Im2Flow: Motion Hallucination from Static Images for Action Recognition

文章链接：https://arxiv.org/abs/1712.04109. 这篇文章是CVPR2018的一篇Oral presentation，对于做动作识别的同学们还是挺有意思的。其中主要的闪光点：Motion hallucination 运动错觉，个人认为可能是推动领域发展的另一个Point。

问题的提出

在对于单帧图像（即所谓static image）是不是只能用到它的图像appearance cue是没有办法利用其隐含地运动信息呢？这篇文章给出了答案：我们可以通过能够学习的某种运动先验，对于单帧图像产生motion hallucination，进而将这样的 fake 运动信息联合外表信息（在 two-stream 框架内），使得动作识别具有更好的效果。

算法框架

首先，我们可以通过对于大量视频序列的学习Im2Flow得到运动先验（物体一般是怎么运动的），然后对于一张新来的图像可以利用已经训练好的网络进行运动错觉的预测，得到static image的运动场。然后在two-streaming框架内联合appearance cue，进行精确的动作识别

算法细节

运动场的编码

运动场一般包括水平方向的运动分量和垂直方向的运动分量，这两个通道。但是为了更好的利用预训练的网络，通常会将运动场augment成三个通道，但是现有的这些扩展方法具有巴拉巴拉等一些问题，所以文章提出了一种新的编码方式：即：

这样的运动场编码方式使得运动预测具有更好的factored性质，而且sin和cos非圆性让回归解决方案也更有效。

Im2Flow网络构架（Based on U-net）

主要值得注意的是loss function的设计: 包含pixel error loss 和 motion content loss两个部分。

Pixel error loss

主要度量Im2Flow网络出来的结果 和 真实的运动场 之间的误差，这一项确保了运动场预测的准确性。

Motion content loss

这一项类似于算法的正则化功能，使得得到的运动场能够保持high-level的运动特征，而不会产生琐碎的过于细节的东西。因此采用loss network（由动作识别任务fine-tuned，并不参与end-to-end的优化）。由Im2Flow网路预测得到的运动场和真实的运动场都通过这个网络，其之间的L2 loss确保我们得到的运动场也和真实的运动场一样具有high-level的运动表征能力。
（其中的加权方法有兴趣的同学可以参考原文）

总结

文章的主要贡献在于
1. 对于单帧图像提出了运动错觉这一说法，使得能够与单帧静止图像也可以计算运动场。
2. 得到的运动场，将其在two-streaming框架中应用，证明了该运动错觉运动场的power。