【论文笔记】光流在视频行为识别中的作用

Paper：On the Integration of Optical Flow and Action Recognition
Author：Facebook，Zhejiang University，MPI for Intelligent Systems，NVIDIA

0. 引言

在做视频行为识别时，特别是基于two-stream框架时，常常会引入光流图作为双流网络其中一支的输入。这是很常用，且在各数据集上已被证明有效的做法。但是，关于光流在行为识别中到底起到了什么作用其实并没有明确的研究。通常我们认为光流代表了视频的motion信息，可以和帧图像的appearance信息形成互补，从而提高双流模型的效果。
那么是否真的是这样呢？本文探讨了光流对于行为识别有用的原因。首先给出本文的结论，有些结论可能有点反直觉：
（1）光流对于action recognition有用是因为它的表观特征不变性（而不是动态信息）
（2）光流方法优化时通常采用end-point-error(EPE)，但是EPE的好坏和action recognition的性能没有强相关性
（3）从测试的光流算法看，光流在边界处和小位移处的精度对于提升action recognition的性能有强相关
（4）以最小化分类误差为目标去训练光流比最小化EPE更能提升action recognition的性能
（5）以action recognition为目标学习到的光流和传统的光流不相同，特别是在人体