EMNLP 2020 BiST: Bi-directional Spatio-Temporal Reasoning for Video-Grounded Dialogues

动机

1. 基于视频的对话是非常具有挑战性的，这是因为(i)包含空间和时间变化的视频的复杂性，以及(ii)用户在视频或者多个对话轮中查询不同片段和/或不同目标的话语的复杂性。然而，现有的基于视频的对话方法往往关注于表面的时间级视觉线索，而不是从视频中获取更细粒度的空间信号。作者的方法旨在通过双向推理框架从视频中检索细粒度信息来挑战基于视频的对话来解决这一问题。
2. 与视频对话相关的任务是视频问答和视频captioning。之前在这些研究领域的努力，如 Tgif-qa、GRU-EVE_hft+sem-(CI)明确地考虑了输入视频的空间和时间特征。这些模型根据对问题的重要性来学习概括空间特征，而不是对每个区域进行等同考虑。作者受到这些方法的激励，并提议将时空推理扩展到对话。
3. 作者注意到，在某些情况下，例如长时间的扩展视频，在确定特定的感兴趣的主题之前，首先识别相关的视频片段，而不是固定地处理空间输入然后学习时间输入。考虑对话设置中的问题，假设问题与视频的不同时间位置相关是适当的，而不仅仅是一个小的固定片段。

方法

简介

通常，时空学习方法的目标是从复杂视频中获取更高分辨率的信息，这些复杂视频涉及每个视频帧中的多个目标或视频片段上的运动。作者提出了一种双向视觉语言推理方法，将该方法命名为双向时空学习（BiST），通过两个推理方向来充分利用空间和时间层面的特征。作者的方法包括两个并行网络，基于用户话语中的语言信号，从输入视频中学习相关的视觉信号。每个网络将基于语言的特征投射到一个三维张量，然后该张量被用于按照一个推理方向独立地学习视频信号，该推理方向可以是空间的→时间的或时间的→空间的。每个网络的输出由基于语言和视觉特征计算的重要性分数动态组合。加权输出被循环地用作推理模块的输入，以允许模型在多个步骤中递进地导出相关视频信号。直观地看，时空推理更适合于与特定实体相关的人类查询或涉及多个目标的输入视频。时空推理更适合于人类对特定视频片段或长视频的查询。

模型

输入包括视频V、(t-1)轮对话历史（其中t是当前轮），每轮包括一对（人类话语H、对话智能体响应A)(H₁, A₁, …, H_T-1, A_T-1)，以及当前人类的话语。输出是可以处理当前人类的话语的一个系统响应。输入视频可以包含不同模态的特征，包括视觉、音频和文本（例如视频caption或字幕）。在无泛化损失的情况下，作者可以将每个文本输入表示为一系列token，每个token由词汇集V中的唯一token索引表示：数据历史X_his、用户话语X_que、视频的文本输入X_cap、以及输出响应Y。作者还将L_S表示为序列S的长度。例如，L_que是X_que的长度。

作者的模型由四部分组成：

（1）编码器将文本序列和视频输入（包括视觉、音频和文本特征）编码成连续的表示。对于视觉和声音等非文本特征，作者遵循之前TVQA的工作，并假设访问预训练好的模型。

（2）多个神经推理组件学习用户话语/查询与多模态视频特征之间的依赖关系。对于视频视觉特征，作者提出在两个方向上同时学习空间和时间层面的依赖关系（参见图2）。具体地说，作者允许用户查询中的每个token与视频的每个空间位置或时间步骤之间进行交互。基于空间或基于时间的推理的输出在时间空间和空间时间两个方向上依次进行。这种双向策略使信息动态融合，并捕获对话中的文本信号和视频中的视觉信号之间的复杂依赖关系。

（3）解码器通过多个attention步骤传递编码的系统响应，每个attention步骤从文本或视频表示中提取信息。通过自回归方式，解码器输出传递给生成器以生成token。

（4）生成器计算词汇集上的三个分布，一个分布是从线性变换输出的，另一个分布是基于输入序列位置上的指针attention分数。

具体包括：

1. 编码器。

   1）文本编码器。作者使用编码器将基于文本的输入X嵌入到连续表示Z∈R^LX×d中。L_X是序列X的长度，d是嵌入维数。文本编码器包括token级嵌入层和层归一化。嵌入层包括一个可训练矩阵E∈R^|V|×d，其中每一行表示词汇表集合V中的一个token，作为维度D的向量。作者将E(X)作为查找输入序列X中每个token的向量的嵌入函数：Z_emb=E(X)∈R^LX×d。将位置编码层，作者采用Attention is all you need中的方法，每个token位置表示为正弦或余弦函数。位置编码和token级嵌入的输出通过点加和层归一化相结合。编码