（八十九）：Vision Guided Generative Pre-trained Language Models for Multimodal Abstractive Summarization

• 出处：EMNLP (1) 2021: 3995-4007
• 代码：https://github.com/hltchkust/vg-gplms
• 题目：视觉引导的多模态抽象摘要生成预训练语言模型
• 主要内容：采用两种文本视觉融合机制注入视觉信息，使用遗忘门(FG)来处理视觉特征中的冗余和噪声信息。结果显示：：在编码器中，我们观察到编码器的最后几层(如5和6)进行融合可以进一步提高摘要性能。我们推测，早期的文本视觉融合在编码器中使得视觉信息在经过编码器层堆栈后轻微地消失。

Abstract

多模态抽象摘要(MAS)模型对视频(视觉模态)和相应的文本(文本模态)进行总结，能够从互联网上的大量多模态数据中提取必要的信息。近年来，大规模生成式预训练语言模型(GPLMs)在文本生成任务中被证明是有效的。然而，现有的MAS模型并不能充分利用gplm强大的生成能力。为了填补这一研究空白，我们打算研究两个研究问题:
1)如何在不损害gplm生成能力的情况下将视觉信息注入gplm;
2)在gplm中，视觉信息注入的最佳位置是什么?
在本文中，我们提出了一种简单而有效的方法，利用基于注意的附加层，在保持原始文本生成能力的同时，为MAS任务构建视觉引导的gplm。结果表明，在How2数据集(Sanabria et al.， 2018)上，我们的最佳模型比之前的最先进的模型显著提高了5.7 ROUGE-1、5.3 ROUGE-2和5.1 ROUGE-L分数(Sanabria et al.， 2018)，我们的视觉引导方法对整体改进的贡献率为83.6%