时序动作定位 | 提取视觉语言预训练与弱监督时间动作定位协同（CVPR 2023）

<Distilling Vision-Language Pre-training to Collaborate with Weakly-Supervised Temporal Action Localization> 

摘要 

        弱监督时态动作定位(WTAL)学习仅使用类别标签来检测和分类动作实例。大多数方法广泛采用现成的基于分类的预训练(CBP)来生成用于动作定位的视频特征。

        解决问题：由于分类和局部化的优化目标不同，使得局部化结果存在严重的不完全性问题。

        为了在没有额外注释的情况下解决这一问题，本文考虑从视觉语言预训练(VLP)中提取自由动作知识，因为惊讶地发现普通VLP的定位结果存在过完整问题，而这只是对CBP结果的补充。

        解决方法：为了融合这种互补性，提出了一个新的蒸馏协作框架，其中两个分支分别作为CBP和VLP。该框架通过双分支交替训练策略进行优化。具体而言，在B步中，从CBP分支中提取置信背景伪标签；而在F步中，从VLP分支中提取可信的前景伪标签。从而有效地融合了双分支的互补性，促进了强大的联盟。