读Object Relational Graph with Teacher-Recommended Learning for Video Caption

来源于：Caption 阅读笔记2 - 知乎

之前工作的缺点

1）忽视了视频帧内以及帧间对象之间的关系，缺少足够的视觉信息；

2）描述文本中的词存在长尾问题（long-tailed problem，大多work是普遍存在的），对内容相关的词训练不充分。

 贡献

1)构建了新的ORGs来连接视频中的每个对象，并利用GCNs来实现关系推理，进一步丰富了细节对象的表示。

2)提出TRL作为TEL的补充，利用成功的外部语言模型(ELM)将丰富的语言知识整合到标题模型中。ELM生成更多语义上相似的单词建议，扩展用于处理长尾问题的训练的基本真理单词。将ELM中的语言知识集成到标题模型中。每一步都比以前多训练几次单词。该方法有效地缓解了长尾问题，提高了标题模型的泛化能力。

补充:

（1）在本文中探索了两种图：部分对象关系图(P-ORG)和完整对象关系图(C-ORG)。

• 局部关系图（P-ORG）构建单帧物体的关系，帧与帧之间没有连接；
• 全局关系图（C-ORG）将整个视频中的物体进行关联，从而能够获得长时的物体间依赖关系。

（2）通常情况下，标题模型在每个训练步骤中都被迫学习ground-truth单词，因此我们将这一过程称为教师强制学习(TEL)，这些单词被称为硬目标。然而，TEL没有考虑长尾问题。

（3）长尾问题指的是数据不分布，比如在标题语料库中，大部分词语是虚词和常用词，如the和man这类词远远超过真正的特定内容词，而一些实词则很少，这导致大量有意义的单词训练不足，虽然给不同的单词赋予不同的权重可以缓解长尾问题，但不能从跟本上解决长尾问题。

TRL在原有teacher-enforced learning的训练过程的基础上，配合在大型语料库上预训练的语言模型生成的软目标（可以认为是近义词）进行teacher-recommended learning，在每一步的训练中同时学到了数十倍的知识，很好地缓解了由于文本长尾问题所带来的内容相关词汇训练不足的问题。