Divide and Conquer:Question-Guided Spatio-Temporal Contextual Attention for Video Question Answering

动机

1. 理解问题和寻找答案的线索是视频问答的关键。

   VQA任务主要分为图像问答（Image QA）和视频问答（Video QA）两种，针对不同视觉材料的自然语言问题进行回答。通常，理解问题并在给定的视觉材料中找到问题答案的线索是VQA的关键。对于图像问答，在过去十年中，已经集中了大量的努力，专注于寻找融合视觉特征和语言特征的更好方法，帮助网络准确理解问题和视觉特征。注意力机制被用于告知神经网络“答案的线索在哪里”。

2. 视频问答需要同时在空间和时间两个维度上准确地判断问题的线索，因此与图像问答相比具有更强的挑战性。

   与图像问答相比，视频问答更具挑战性。在图像问答中，大部分的答案都可以从图像的空间特征中找到，而问题的提出主要是基于图像的外观特征。然而，在视频问答中，一个正确的答案不仅需要在空间维度上，而且需要在时间维度上准确定位线索。此外，视频素材中的场景变化更为复杂，从空间维度和时间维度对推理能力都提出了很高的要求。

3. 在现有的大多数视频问答方法中，时空信息与问题之间的关系仍然没有得到很好的利用。

   尽管视频问答方法得到了新的研究，但它仍然具有挑战性。问题推理和在视觉特征中定位答案线索是VQA的关键。对于答案线索的定位，视频在视觉层面上具有空间和时间两个维度，这与图像不同，导致线索在空间和时间两个维度上的关键点不一致。如下图1所示，给定“人开门后做什么”的问题，空间维度的关键点是“人”和“门”，时间维度的关键点是“开门后”。因此，在视频问答中，适当地利用空间和空间两个维度的信息，以便从视频中挖掘线索是非常重要的。现有的一组方法侧重于利用视频中的时间上下文信息，而没有充分利用空间维度的特征。另一些方法试图将时空注意力应用于视频，但有可能是由于缺乏空间和时间两个维度的问题的指导，这些方法与仅时间注意力相比表现更差。在这种情况下，如何有效地利用视频中的时空信息是视频质量保证的重要内容。
   

方法

简介

针对上述问题，本文提出了一种基于问题导向的时空上下文关注网络（QueST），该网络将视频和问题的信息分为空间部分和时间部分。然后，在每一部分中学习视频与问题之间的关系。

在QueST中，视频引导的问题注意(VGQA)首先将问题编码为两种不同的问题嵌入（空间问题嵌入和时间问题嵌入）。然后，在视频的空间和空间维度上依次引入问题引导的上下文匹配块（CABs），在相应问题特征的引导下，对视频的特定维度上的上下文感知视觉特征进行建模，挖掘与场景相关的视觉线索。

QueST

对QueST的输入包含两种模态：视频和自然语言的问题。在QueST中，1）原始输入首先被送入特征提取模块，以获得视频嵌入V和问题嵌入Q。接下来，如下图2所示，2）视频引导的问题注意力块(VGQA)被用于问题嵌入，以生成空间问题嵌入和时间问题嵌入。这两种新的嵌入都是基于初始问题嵌入中相应维度的信息。在此基础上，3）引入问题引导的上下文关注块(CAB)，从空间和时间两个维度获取与问题相关的视觉特征。然后，4）作者将空间和时间问题嵌入与CABs生成的视频特征相结合，得到视频和问题的联合表示。最后，5）由分类或回归分支在应答模块中生成答案。

特征提取

该方法将输入的原始视频和原始自然语言数据转换为特征嵌入。

视频。视觉QA中的最新方法采用CNN方法，例如Faster R-CNN、ResNet、C3D、Flow CNN作为视觉特征提取器。在QueS