Video Analysis 相关领域介绍之Video Captioning(视频to文字描述)

本文投稿于极视角平台，链接为文章链接

之前两次分别介绍了video analysis中的action recognition 以及 temporal action detection 这两个领域。这两个领域算是对视频mid-level的理解，而我最近看论文主要在关注如何去理解视频的高层语义（high-level)信息，这方面一个重要的领域就是video captioning。video captioning的任务是给视频生成文字描述，和image captioning（图片生成文字描述）有点像，区别主要在于视频还包含了时序的信息。关于video captioning，我目前还没有自己动手做过实验，所以文章内容如有问题麻烦指出~

数据库

首先介绍一下近几年最常用的两个数据库。

• MSR-VTT dataset: 该数据集为ACM Multimedia 2016 的 Microsoft Research - Video to Text (MSR-VTT) Challenge。地址为 MSR-VTT dataset 。该数据集包含10000个视频片段（video clip），被分为训练，验证和测试集三部分。每个视频片段都被标注了大概20条英文句子。此外，MSR-VTT还提供了每个视频的类别信息（共计20类），这个类别信息算是先验的，在测试集中也是已知的。同时，视频都是包含音频信息的。该数据库共计使用了四种机器翻译的评价指标，分别为：METEOR, BLEU@1-4,ROUGE-L,CIDEr。
• YouTube2Text dataset(or called MSVD dataset):该数据集同样由Microsoft Research提供，地址为 MSVD dat