Compressed Video Action Recognition(CVPR 2018)

最近在研究Action recognition 方面的算法，Compressed Video Action Recognition 提出了一个比较新颖的算法

也是 CVPR2018 action recognition方面比较有代表性的文章。

代码可详见github.

首先看一下，作者于文中列出的第一张图

图中作者简要的对比了传统的RGB作为输入和提出的使用I-frame、motion vectors、residual

作为输入方法；

作者在文中详细阐述了提出的输入和网络结构：

1、输入

I-frame 了解视频编码的都清楚;

motion vectors 包含于P-frame中，作者拜托其依赖性对其进行了改进

上面列出了原文公式，主要思路是根据motion vectors 逐帧向前追溯图片中每个像素点，

但，代码实现时是以I-frame为起始点逐帧向后追溯的。

residual: 通过I-frame和P-frame解码后的帧和实际帧之间的差值，

2、网络结构

作者提出的网络结构

将I-frame输入至ResNet-152中，由于motion-vector和residual相对于I-frame包含的信息较少

故将其输入至ResNet-18中；并且都是在ImageNet上进行的预训练。

对于最后的输出分类评分，作者使用了简单的求和平均。

最后看一下性能

在UCF-101上获得了90.4%的增益，在HMDB-51上获得了59.1的增益，效果还是比较不错的。