ICCV2021 ｜优胜劣汰，MIT团队提出自适应多模态选取框架用于视频理解

关注公众号，发现CV技术之美

AdaMML: Adaptive Multi-Modal Learning for Efficient Video Recognition

项目主页：https://rpand002.github.io/adamml.html
论文链接：https://rpand002.github.io/data/ICCV_2021_adamml.pdf
代码链接：https://github.com/IBM/AdaMML

1

动机

对于视频理解任务而言，多种模态的输入数据往往会携带大量的冗余信息，除了普通的RGB帧数据，视频多模态分析还会用到音频、光流和深度图等模态的数据，但是对于某些时刻，其他模态的数据不论是数据获取还是前向传播都会有更高的计算性能要求，这对于一些即时的多模态应用是不合理的。

基于此，本文设计了一种自适应的多模态学习框架对一段视频的不同片段选取最为合适的模态数据作为输入，在保证识别精度的同时，获得了较为明显的计算量节省效果。

对于上图中所展示的“修建草坪”视频，只有第三个和第六个片段出现了对应除草机的音频数据，显而易见，我们只需要这两个片段的RGB和音频数据就可以识别出整个视频的行为。

这样一来就可以有效的提升模型的计算性能，需要注意的一点是，本文方法与其他多模态学习“一刀切”的学习模式不同，本文对每个视频的每个独立片段都进行决策，进而导致不同的视频计算量也不同，真正做到了自适应选取。

2

本文方法

如上图所示，本文的整体框架包含了一个轻量的策略级网络Policy Network和一个