提出了用于视频识别的慢速网络。
SlowFast创建思路
1 Image 中 可以同等对待, 但是 video signals 中与同等对待不合理。
2 看到的东西有 slow的部分 和fast的部分
SlowFast核心
核心是对同一个视频片段应用两个平行的卷积神经网络(CNN)
—— 一个慢(Slow)通道,一个快(Fast)通道。
(i)一个慢速路径,以低帧速率操作,以捕捉空间语义;慢速高分辨率CNN(Slow通道),来分析视频中的静态内容
(ii)一个快速路径,以高帧速率操作,以精细的时间分辨率捕捉运动。快速低分辨率CNN(Fast通道),来分析视频中的动态内容。
快速路径可以通过减少信道容量而变得非常轻量级,同时还可以学习有用的时间信息用于视频识别。
模型在动作分类和视频检测两方面都取得了很好的性能。
SlowFast相关工作
Spatiotemporal fifiltering 时空滤波
- 动作可以表示为时空对象,并在时空中通过定向滤波捕获。空间和时间维度同等对待来处理
- 侧重于使用时间步长的长期滤波和池,以及将卷积分解为单独的2D空间滤波器和1D时间滤波器。
SlowFast工作原理
Slow通道和Fast通道都使用3D RestNet模型,捕捉若干帧之后立即运行3D卷积操作。
Slow通道使用一个较大的时序跨度(即每秒跳过的帧数),通常设置为16,这意味着大约1秒 可以采集2帧。Fast通道使用一个非常小的时序跨度τ/α,其中α通常设置为8,以便1秒可以采集 15帧。Fast通道通过使用小得多的卷积宽度(使用的滤波器数量)来保持轻量化, 通常设置为慢通道卷积宽度的⅛,这个值被标记为β。使用小一些的卷积宽度的原因是Fast 通道需要的计算量要比Slow通道小4倍,虽然它的时序频率更高。
侧向连接
如图中所示,来自Fast通道的数据通过侧向连接被送入Slow通道,这使得Slow通道可以了解Fast 通道的处理结果。单一数据样本的形状在两个通道间是不同的(Fast通道是{αT, S², βC} 而Slow 通道是 {T, S², αβC}),这要求SlowFast对Fast通道的结果进行数据变换,然后融入Slow通道。
论文给出了三种进行数据变换的技术思路,其中第三个思路在实践中最有效。
- Time-to-channel:将{αT, S², βC} 变形转置为 {T , S², αβC},就是说把α帧压入一帧
- Time-strided采样:简单地每隔α帧进行采样,{αT , S², βC} 就变换为 {T , S², βC}
- Time-strided卷积: 用一个5×12的核进行3d卷积, 2βC输出频道,跨度= α.
有趣的是,研究人员发现双向侧链接,即将Slow通道结果也送入Fast通道,对性能没有改善。
在每个通道的末端,SlowFast执行全局平均池化,一个用来降维的标准操作,然后组合两个 通道的结果并送入一个全连接分类层,该层使用softmax来识别图像中发生的动作。
数据集
SlowFast在两个主要的数据集 —— DeepMind的Kinetics-400和Google的AVA上进行了测试。 虽然两个数据集都包含了场景的标注,它们之间还是有些差异:
Kinetics-400包含成千上万个Youtube视频的10秒片段,将人的动作归为400类(例如:握手、 跑、跳舞等),其中每一类至少包含400个视频。
AVA包含430个15分钟的标注过的Youtube视频,有80个原子化可视动作。每个动作的标注 即包含描述文本,也包含在画面中的定位框。
结果
SlowFast在两个数据集上都达到了迄今为止最好的结果,在Kinetics-400上它超过最好top-1得分5.1% (79.0% vs 73.9%) ,超过最好的top-5得分2.7% (93.6% vs 90.9%)。在 Kinetics-600 数据集上它也 达到了最好的结果。Kinetics-600数据集与Kinetics-400类似,不过它将动作分为600类,每一类 包含600个视频。
在AVA测试中,SlowFast研究人员首先使用的版本,是一个较快速R-CNN目标识别算法和现成的行人 检测器的整合,利用这个行人检测器获取感兴趣区域。研究人员随后对SlowFast网络进行了预训练, 最后在ROI上运行网络。结果是28.3 mAP (median average precision) ,比之前的最好结果21.9 mAP 有大幅改进。值得指出的是在Kinetics-400和Kinetics-600上的预训练没有获得显著的性能提升。
有趣的是,论文比较了只使用Slow通道、只使用Fast通道、同时使用Slow和Fast通道的结果,在 Kinetics-400上,只使用Slow通道的网络其top-1结果为72.6%,top-5为90.3%。只使用Fast通道的网络, top-1和top-5分别为51.7% 和 78.5%。
参考: