2020-08-06

PaddlePaddle论文复现之ECO: Efficient Convolutional Network for Online Video Understanding（一）

论文复现采用百度飞浆深度学习框架，具体课程参看https://aistudio.baidu.com/aistudio/education/group/info/1340

论文摘要

有效的视频理解存在两个问题：（1）推理的主要部分在视频中本地执行，因此，它错过了跨越几秒钟的动作中的重要关系。 （2）尽管采用快速逐帧处理的局部算法，但整个视频的处理效率不高，并且妨碍了快速视频检索或长视频的在线分类。在本文中，作者介绍了一种网络架构，该架构考虑了长期内容并同时实现了快速的单个视频处理。该架构基于合并网络中已有的长期内容，而不是事后融合。利用相邻帧在很大程度上是冗余的采样策略，可以以高达每秒230个视频的速度进行高质量的动作分类和视频字幕，其中每个视频可以包含数百个帧。该方法可在所有数据集上实现竞争性能，同时比最新方法快10到80倍。

模型结构

每个视频均分为N个大小相等的小节。 从每个小节中随机抽取一个帧。 样本由常规2D卷积网络处理以产生每个采样帧的表示。 这些表示被堆叠并馈入3D卷积网络，该网络将动作进行分类，同时考虑时间关系

（A）ECO Lite体系结构，如图1所示。（B）具有并行2D和3D流的完整ECO体系结构。

在线视频理解的抽样策略方案。 在上一个时间步骤中，一半的帧是从工作存储器中均匀采样的，另一半是从传入帧的队列（Q）中采样的。
具体算法流程：

实验：