<Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization>
摘要
弱监督时态动作定位(WTAL)学习仅使用类别标签来检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。
解决问题:由于分类和局部化的优化目标不同,使得局部化结果存在严重的不完全性问题。
为了在没有额外注释的情况下解决这一问题,本文考虑从视觉语言预训练(VLP)中提取自由动作知识,因为惊讶地发现普通VLP的定位结果存在过完整问题,而这只是对CBP结果的补充。
解决方法:为了融合这种互补性,提出了一个新的蒸馏协作框架,其中两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体而言,在B步中,从CBP分支中提取置信背景伪标签;而在F步中,从VLP分支中提取可信的前景伪标签。从而有效地融合了双分支的互补性,促进了强大的联盟。