【78】Procedure-Aware Pretraining for Instructional Video Understanding
CVPR 2023
目标:学习一种对instructional video中下游过程理解任务有用的视频表征。
本文工作:作者认为,instructional video描述了在相同或不同任务的实例之间重复的步骤序列,并且这种结构可以用程序知识图(Procedural Knowledge Graph,PKG)很好地表示,其中节点是离散的步骤,边连接instructional活动中顺序发生的步骤。然后可以使用该图生成伪标签来训练视频表征,该表征以更易于访问的形式对程序性知识编码,以推广到多个过程理解任务。作者将基于文本的程序知识库和未标记的instructional video语料库信息相结合,构建了一个PKG,然后使用它生成具有四个预训练目标的训练伪标签。作者把这种基于PKG的预训练程序和由此产生的模型称为Paprika,Procedure-Aware PRetraining for Instructional Knowledge Acquisition。
效果:作者在任务识别、步骤识别和步骤预测等过程理解任务中评估了Paprika在COIN和CrossTask上的表现。Paprika产生的视频表征比目前的技术水平有所提高。
代码:https://github.com/salesforce/paprika
更多论文分享,请参考: 深度学习相关阅读论文汇总(持续更新)