文本推理_CVPR 2020 | 细粒度文本视频跨模态检索

本文介绍的是CVPR 2020的论文《Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning》(已开源)，文章作者是中国人民大学博士生陈师哲同学，这项工作是陈师哲同学在澳大利亚阿德莱德大学吴琦老师组访问时所完成。 作者 | 陈师哲 编辑 | 贾 伟

---

 

论文链接： http://arxiv.org/abs/2003.00392 代码链接：https://github.com/cshizhe/hgr_v2t

---

  1 动  机 互联网上短视频的快速涌现为视频内容的精准检索带来了前所未有的挑战。使用自然语言文本描述对视频进行跨模态检索(Cross-modal Video-Text Retrieval)是最符合自然人机交互的方式之一，能更加全面细粒度地表达用户检索需求，得到了越来越多的研究关注。   当前跨模态检索的主要方法将视频和文本模态映射到联合视觉语义空间以计算跨模态相似度。大部分工作[1,2]使用全局特征向量分别表示视频和文本信息，但是文本和视频中包含了丰富复杂的元素，例如图1中的事件检索涉及了不同的动作、实体、以及动作实体之间的关系等等，使用单一的特征表示很难捕获细粒度的语义信息。少量工作[3]提出细粒度的密集匹配，将视频和文本表示为序列化特征，对每一序列元素进行局部对齐匹配，融合得到全局跨模态相似度，然而仅使用序列化表示忽略了文本或视频内部复杂的拓扑结构，不能准确地表示事件中不同元素之间的关系，使得局部对齐匹配的语义表达能力下降。