©PaperWeekly 原创 · 作者 | 段皞一
单位 | 浙江大学
研究方向 | 多模态
近年来,在音视频下游任务中部署大规模预训练模型已经取得了显著的成果。然而,这些模型主要是在单模态非受限数据集上进行训练的,仍然在多模态任务的特征提取方面面临挑战。这个局限性是因为在编码过程中引入了无关的模态特定信息,对下游任务的性能产生了不利影响。我们发表于 NeurIPS 2023 的文章,《Cross-modal Prompts: Adapting Large Pre-trained Models for Audio-Visual Downstream Tasks》解决了这一挑战。
本文提出了一种新颖的双引导空间-通道-时间(DG-SCT)注意机制。该机制将音频和视觉模态作为软提示,基于当前多模态输入特征动态调整预训练模型的参数。具体来说,DG-SCT 模块将可训练的跨模态交互层整合到预训练的音频、视频编码器中,允许跨空间、通道和时间维度自适应地提取当前模态的关键信息,同时保留大规模预训练模型的冻结参数。
论文标题:
Cross-modal Prompts: Adapting Large Pre-trained Models for Audio-Visual Downstream Tasks
代码链接:
https://github.com/haoyi-duan/DG-SCT
实验表明,我们提出的模型在多个下游任务中取得了 state-of-the-art,包括 AVE、AVVP、AVS 和 AVQA 任务。此外,我们的模型在具有挑战性的 few-shot 和 zero-shot 场景中表现优越。此外,我们还进行了全面的实验:
消融实验,验证了空间(S),通道(C)和时间(T)三个模块的有效性;
定性分析,可视化地分析模型对表征效果的提升;
性能分析,可训练参数和计算成本的比较。
总体来说,在 4 个数据集总共 25 个 setting 下,我们有 19 个取得了 SOTA。我们的方法表现出了强大的泛化能力,并在未来的更多音视频场景中具有应用潜力。