【视频算法解析三】ECO

[视频算法解析一] C3D算法

[视频算法解析二] I3D算法

[视频算法解析三] ECO算法

介绍

有两个较为重要的原则：

1.单帧做action recognition效果已经很棒了，附近的帧同时抽取就会带来一定的冗余。所以这里只用2D卷积来抽取单帧的特征。

2.要捕获遥远的帧之间的语境关系，简单得对于分数聚合是不足够的。所以，喂了间隔较远的帧到3D网络中去提取上下文的时间方面的信息。

由于聚合的部分，只取了一部分帧，所以这里处理速度较快。除此之外，ECO提供了一种在线视频理解的可能，先快速对于动作识别，在这之后用长期的feature来进行修正。ECO在action recognition和video captioning的task上进行评估。

长期的时空架构

将视频间隔的分为N片段，等长，随机从这些片段抽一帧，过2D抽取特征的网络，这些网络是共享权重的。随机选取的好处是在训练中带来了多样性以及使网络更加适应动作不同的初始化。作者也考虑过不同的分割视频的方式，通过衡量帧的内容来分割，但是这种方式，需要计算出帧的特征，比较耗时，同时这种方式带来的收益是有限的。后面就将这些随机选取帧的feature叠加在一起送入3D网络，做最后的action分类。这种结构也被作者成为ECO lite。

ECO Lite and ECO Full

作者指出如果只能从其静态内容中识别动作，会浪费送到3D卷积这一部分的容量，这一部分是为了识别帧之间的关系。

ECO full的版本把所有帧的特征pooling和过了3D的拼接在一起。

网络细节 

2D-Net：使用得是Inceptionv2 (BN-Inception)（layer3之前）来提取特征，每一个单帧的图片提取了之后有96channel的28*28size的feature。

3D-Net：这里3Dnet使用的是3D-Resnet18，输出是one-hot vector用于分类的。

2D-NetS：用的2D-Net inceptionv2 layer4后面的，然后做平均池化输出1024维的特征。

测试过程

在测试得时候，ECO只前向传播一次计算结果，不同于TSN/ARTNet需要对于测试数据源做数据增强，在求平均的计算过程，节省了很多的计算资源。

可以看到ECO的inference speed是其他经典方法的几十到几百倍，在保证acc差不多的情况下。