【AAAI论文】阿里提出新图像描述框架，解决梯度消失难题

现有的图像描述方法通常都是训练一个单级句子解码器，这难以生成丰富的细粒度的描述。另一方面，由于梯度消失问题，多级图像描述模型又难以训练。我们在本论文中提出了一种粗略到精细的多级图像描述预测框架，该框架由多个解码器构成，其中每一个都基于前一级的输出而工作，从而能得到越来越精细的图像描述。通过提供一个实施中间监督的学习目标函数，我们提出的学习方法能在训练过程中解决梯度消失的难题。

尤其需要指出，我们使用了一种强化学习方法对我们的模型进行优化，该方法能够利用每个中间解码器的测试时间推理算法的输出及其前一个解码器的输出来对奖励进行归一化，这能一并解决众所周知的曝光偏差问题（exposure bias problem）和损失-评估不匹配问题（loss-evaluation mismatch problem）。我们在 MSCOCO 上进行了大量实验来评估我们提出的方法，结果表明我们的方法可以实现当前最佳的表现。

从粗略到精细的多级预测框架

图像描述的困难之处是让设计的模型能有效地利用图像信息和生成更接近人类的丰富的图像描述。在自然语言处理近期进展的推动下，当前的图像描述方法一般遵循编码-解码框架。这种框架由一个基于卷积神经网络（CNN）的图像编码器和基于循环神经网络（RNN）的句子解码器构成，有多种用于图像描述的变体。这些已有的图像描述方法的训练方式大都是根据之前的基本真值词（ground-truth words）和图像，使用反向传播，最大化每个基本真值词的可能性。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

这些已有的图像描述方法存在三个主要问题。第一，它们很难生成丰富的细粒度的描述。第二，在训练和测试之间存在曝光偏差。第三，存在损失与评估的不匹配问题。

考虑到使用单级模型生成丰富的图像描述的巨大挑战性，我们在本论文中提出了一种粗略到精细的多级预测框架。我们的模型由一个图像编码器和一系列句子解码器构成，可以重复地生成细节越来越精细的图像描述。但是，直接在图像描述模型中构建这样的多级解码器面临着梯度消失问题的风险。Zhang, Lee, and Lee 2016; Fu, Zheng, and Mei 2017 等在图像识别上的研究工作表明监督非常深度的网络的中间层有助于学习，受这些研究的启发，我们也为每级解码器实施了中间监督。

此外，Rennie et al. 2017 这项近期的图像描述研究使用了强化学习（RL）来解决损失-评估不匹配问题，并且还在训练中包含推理过程作为基准来解决曝光偏差问题；我们也设计了一种类似的基于强化学习的训练方法，但是将其从单级扩展成了我们的多级框架，其中每级都引入了作为中间监督的奖励。尤其需要指出，我们使用了一种强化学习方法对我们的模型进行优化，该方法能够利用每个中间解码器的测试时间推理算法的输出及其前一个解码器的输出来对奖励进行归一化。

此外，为了应对我们的粗略到精细学习框架，我们采用了一种层叠式注意模型来为每个阶段的词预测提取更细粒度的视觉注意信息。图 1 给出了我们提出的粗略到精细框架的示意图，它由三个层叠的长短期记忆（LSTM）网络构成。第一个 LSTM 生成粗尺度的图像描述，后面的 LSTM 网络用作精细尺度的解码器。我们模型中每一级的输入都是前一级所得到的注意权重和隐藏向量，这些被用作后一级的消岐线索。由此，每一级解码器就会生成注意权重和词越来越精细的句子。

原文链接