论文介绍--Memory-Attended Recurrent Network for Video Captioning

最新推荐文章于 2021-11-30 16:12:43 发布

信道者

最新推荐文章于 2021-11-30 16:12:43 发布

阅读量1.1k

点赞数

分类专栏：深度学习基础理论与技术实践人工智能笔记文章标签： VideoCaptioning memory msvd msr-vtt CVPR

本文链接：https://blog.csdn.net/chr1991/article/details/103869640

版权

本文介绍了Memory-Attended Recurrent Network（MARN）模型，该模型在视频字幕生成中引入记忆体，以解决仅依赖当前视频信息的问题。MARN由编码器、基于注意力的解码器和带记忆体的解码器组成，通过3D卷积网络和GRU处理视频特征，结合记忆体结构改进描述质量。在MSVD和MSR-VTT数据集上的实验表明，模型性能有所提升。

摘要由CSDN通过智能技术生成

Memory-Attended Recurrent Network for Video Captioning 这篇论文发表在2019年的CVPR上。作者Wenjie Pei等人来自腾讯和南方科技大学。

研究动机

目前做视频描述的主流框架是编码器-解码器（encoder-decoder）结构。这种架构潜在的劣势在于它无法捕捉存在于在当前视频之外的视频文本信息。作者为了解决生成描述时只显式地根据当前视频的问题，在目前流行模型中嵌入了记忆体（memory structure）。该记忆体能够在词汇表中的单词和相关视频内容建立映射关系。这些视频内容来源于整个训练集。模型在对视频进行的文字描述时，能够利用记忆体提供的信息。论文声称：记忆体让模型产生质量更好的文字描述，同时能够显式地在相邻两个单词之间建模。

模型概述

该论文提出了一种名为Memory-Attended Recurrent Network（MARN）的模型。这个模型由三部分组成：编码器（encoder）、基于注意力机制的循环解码器（attention-based recurrent decoder）和带记忆体的解码器（attended memory decoder）。大致结构如下图所示。

编码器

编码器由两部分组成，一部分是2D卷积网络，提取二维视觉信息，另一部分是3D卷积网络，提取三维视觉信息。具体实现时，作者使用ResNet-101作为2D卷积网络，ResNeXt-101作为3D卷积网络。这里的ResNeXt101网络使用了3D卷积层，并在Kinetics数据集上做了预训练。2D卷积网络对视频帧 $X=\{x_1, x_2, ..., x_L\}$ 进行处理后，可以得到 $F_{2D}=\{f_1, f_2, ..., f_L\}, f_l\in \mathbb{R}^d$ ，3D卷积网络处理得到的特征是 $F_{3D}=\{v_1, v_2, ..., v_N\}, v_n\in \mathbb{R}^c$ 。然后将两者投射到相同的隐藏空间中得到编码器的输出： f_l'=M_f f_l+b_f, v'_n=M_v v_n + b_v.