slowfast解读：用于计算机视觉视频理解的双模CNN-CSDN博客

Facebook AI团队提出的SlowFast方法在视频理解任务中取得突破，通过结合慢速高分辨率和快速低分辨率CNN，分析视频的静态和动态内容。在Kinetics-400和AVA数据集上，SlowFast网络实现了最佳性能，尤其在检测和分类视频中的动作方面超越了先前的算法。其核心是双通道设计，慢通道捕获静态信息，快通道处理动态变化，通过侧向连接融合信息。

摘要由CSDN通过智能技术生成

检测并归类图像中的物体是最广为人知的一个计算机视觉任务，随着ImageNet数据集挑战而更加流行。不过还有一个令人恼火的问题有待解决：视频理解。视频理解指的是对视频片段进行分析并进行解读。虽然有一些最新的进展，现代算法还远远达不到人类的理解层次。

Facebook的AI研究团队新发表的一篇论文，SlowFast，提出了一种新颖的方法来分析视频片段的内容，可以在两个应用最广的视频理解基准测试中获得了当前最好的结果：Kinetics-400和AVA。该方法的核心是对同一个视频片段应用两个平行的卷积神经网络（CNN）—— 一个慢（Slow）通道，一个快（Fast）通道。

作者观察到视频场景中的帧通常包含两个不同的部分——不怎么变化或者缓慢变化的静态区域和正在发生变化的动态区域，这通常意味着有些重要的事情发生了。例如，飞机起飞的视频会包含相对静态的机场和一个在场景中快速移动的动态物体（飞机）。在日常生活中，当两个人见面时，握手通常会比较快而场景中的其他部分则相对静态。

根据这一洞察，SlowFast使用了一个慢速高分辨率CNN（Fast通道）来分析视频中的静态内容，同时使用一个快速低分辨率CNN（Slow通道）来分析视频中的动态内容。这一技术部分源于灵长类动物的视网膜神经节的启发，在视网膜神经节中，大约80%的细胞（P-cells）以低频运作，可以识别细节，而大约20%的细胞（M-cells）则以高频运作，负责响应快速变化。类似的，在SlowFast中，Slow通道的计算成本要比Fast通道高4倍。