阅读论文【78】 CVPR 2023 Procedure-Aware Pretraining for Instructional Video Understanding

【78】Procedure-Aware Pretraining for Instructional Video Understanding

CVPR 2023
目标：学习一种对instructional video中下游过程理解任务有用的视频表征。
本文工作：作者认为，instructional video描述了在相同或不同任务的实例之间重复的步骤序列，并且这种结构可以用程序知识图(Procedural Knowledge Graph，PKG)很好地表示，其中节点是离散的步骤，边连接instructional活动中顺序发生的步骤。然后可以使用该图生成伪标签来训练视频表征，该表征以更易于访问的形式对程序性知识编码，以推广到多个过程理解任务。作者将基于文本的程序知识库和未标记的instructional video语料库信息相结合，构建了一个PKG，然后使用它生成具有四个预训练目标的训练伪标签。作者把这种基于PKG的预训练程序和由此产生的模型称为Paprika，Procedure-Aware PRetraining for Instructional Knowledge Acquisition。
效果：作者在任务识别、步骤识别和步骤预测等过程理解任务中评估了Paprika在COIN和CrossTask上的表现。Paprika产生的视频表征比目前的技术水平有所提高。
代码：https://github.com/salesforce/paprika

更多论文分享，请参考： 深度学习相关阅读论文汇总（持续更新）