NAOMI: Non-Autoregressive MultiresolutionSequence Imputation（非自回归多分辨率序列填补）论文详解

原始论文：NAOMI: Non-Autoregressive Multiresolution Sequence Imputation，参考链接：https://arxiv.org/pdf/1901.10946.pdf。

Abstract

从运动跟踪到物理系统动力学，缺失值填补是时空建模的一个基本问题。深度自回归模型（Deep autoregressive models）存在误差传播问题，这对输入长序列来说是灾难性的。本文采用一种非自回归的方法，提出了一种新的深度生成模型:非自回归多分辨率填补 (non-autoregressive MultiresolutionImputation, NAOMI)，用于在给定任意缺失模式的情况下进行长序列的填补。NAOMI利用时空数据的多分辨率结构，采用分而治之的策略从粗粒度到细粒度递归解码。我们通过对抗性训练进一步增强了我们的模型。当对来自确定性和随机动力学系统的基准数据集进行广泛评估时。在我们的实验中，NAOMI显著提高了输入精度(与自回归相比平均误差降低了60%)和对长序列的泛化。

一、Introduction

缺失值的问题经常出现在现实生活中的序列数据中。例如，在运动跟踪中，由于物体遮挡、轨迹交叉、摄像机运动[1]不稳定等原因，轨迹中经常包含缺失数据。缺失值会在训练数据中引入观察偏差，使学习不稳定。因此，缺失值的估算对于下游序列学习任务至关重要。大多数统计技术依赖于对缺失模式(如随机缺失)的强烈假设，并不能很好地推广到未见数据。此外，现有的方法在缺失数据比例高、序列长时效果不佳。
最近的研究提出使用深度生成模型从序列数据中学习灵活的缺失模式。然而，现有的所有深度生成填补方法都是自回归的：它们对当前的价值进行了建模，并以顺序方式插补缺失数据。 因此，自回归模型非常容易受到复合误差的影响，这对于长序列建模来说可能是灾难性的。 我们在实验中观察到，现有的自回归方法在具有长期动力学的序列填补任务上存在困难。
本文提出了一种新的非自回归长序列填补方法。我们对历史和(预测的)未来进行条件分布建模，而不是仅仅以以前的值为条件。我们利用时空序列的多分辨率特性，将复杂的依赖关系分解为多个分辨率的简单依赖关系。我们的模型，非自回归多分辨率填补 (NAOMI)，采用分而治之的策略来递归地填充缺失的值。
总而言之，贡献如下：

• 提出了一种新的非自回归解码程序的深度生成模型，可以为具有长期依赖关系的时空序列估算缺失值；
• 引入对抗性训练，使用生成式对抗性模仿学习目标和一个完全可微的生成器来减少方差；
• 我们对基准序列数据集进行了详尽的实验，包括交通时间序列、台球和篮球轨迹。我们的方法在精度上提高了60%，并在给定任意缺失模式的情况下生成真实的序列。

二、Related Work

• 缺失值填补：现有的缺失值填补方法大致分为两类：统计方法和深度生成模型。统计方法经常对缺失的模式施加强有力的假设。例如，均值/中值平均、线性回归、MICE和k近邻只能处理随机缺失的数据。利用EM算法建立的潜在变量模型可以不随机地代入缺失的数据，而局限于某些参数模型。深度生成模型为缺失数据的填补提供了一个灵活的框架。例如，[13,6,14]开发了各种递归神经网络来估算时间序列。[8,9,7]利用生成对抗训练(GAN)来学习复杂缺失模式。然而，现有的填补模型都是自回归的。
  【8】GAIN: Missing Data Imputation using Generative Adversarial Nets
  【9】Multivariate Time Series Imputation with Generative Adversarial Networks
  【7】MaskGAN: Better Text Generation via Filling in the______

• 非自回归模型：非自回归模型在自然语言处理和语音方面比自回归模型具有竞争优势。

• 生成对抗训练：生成对抗网络(GAN)引入了一种判别器来替代最大似然目标，为生成建模提供了一种新的范式。对于序列数据，对整个序列使用鉴别器会忽略序列依赖性，并可能导致模式崩溃。[21, 22]发展模仿和强化学习来在序列设置中训练GAN。[21]提出生成式对抗模仿学习将GAN和反向强化学习相结合。[22]使用强化学习为离散序列开发GAN。我们使用一个具有可微分策略的模仿学习公式。

• 多分辨率生成：我们的方法与图像的多分辨率生成模型(如Progressive GAN[23]和多尺度自回归密度估计[24])密切相关。关键的区别在于[23,24]仅捕获空间多分辨率结构，对不同分辨率采用可加模型。我们处理多分辨率时空结构和生成预测填补。我们的方法与分层序列模型有本质上的不同[25,26,27]，因为它只跟踪最相关的隐藏状态并实时更新它们，这是内存高效的，训练速度也快得多。

三、Non-Autoregressive Multiresolution Sequence Imputation

X=（x1,x2,…,xT）是T个观测序列。X有缺失数据，由掩模序列M=（m1,m2,…,mt）指示。。我们的目标是在序列的集合中用适当的值代替缺失值。
通常估算缺失值的方法是直接对不完整序列的分布进行建模。该示例可以是利用链式规则分解概率，并学习用于填充的deep自回归模型。（GRU-D也适用于此）
但自回归模型的一个关键弱点是它们的顺序译码过程。由于当前值取决于先前的时间步长，自回归模型通常需要依赖于sub-optim beam search，对长序列的错误复合比较脆弱。

由于模型无法参考已知的未来，在序列填充中会进一步恶化，这会导致观测点上填充值与实际值的不一致。为了缓解这些问题，我们建议使用深度、非自回归、多分辨率生成模型NAOMI，而不是使用非自回归方法。

3.1 NAOMI Architecture and Imputation Strategy

NAOMI有两个组成部分:
1)一个前向-后编码器，它将不完整序列映射到隐藏表示；
2)一个多分辨率解码器，它将给定隐藏表示的缺失值进行估算；

输入长度为5的序列的NAOMI架构 (x2,x3,x4: missing values)
前向-后向编码器将不完整的序列（x1、…、x5）编码为隐藏状态；
多分辨率解码器采用非自回归方法递归解码：利用隐藏状态h1、h5预测x3。然后隐藏状态会更新。然后根据x1和预测的x3计算出x2, x4也是如此。这个过程重复，直到所有缺失的值都被填满。

3.1.1 Forward-backward encoder

首先将观测序列和掩模序列拼接，即I=[X,M]
前向隐藏状态：Hf
后向隐藏状态：Hb

3.1.2 Multiresolution decoder

给定联合隐态H:= [Hf, Hb]，解码器学习完整序列p(X|H)的分布。我们采用分而治之的策略，从粗粒度到细粒度进行递归解码。如上图所示，在每次迭代中，解码器首先确定两个已知的时间步作为枢轴(在这个例子中是x1和x5)，并在它们的中点(x3)附近进行估算。然后用新计算的步骤替换一个枢轴，并在x2和x4上以更细的分辨率重复这个过程。其算法流程如下：

3.1.3 Efficient hidden states update

NAOMI通过重复之前的计算来有效地更新隐藏状态，其时间复杂度与自回归模型相同。下图显示了长度为9的序列的示例。

• 灰色块是已知的时间步长；
• 橙色块是要估算的目标时间步长；
• 空心箭头表示向前隐藏状态更新；
• 黑色箭头表示向后隐藏状态更新；
• 灰色箭头是过时的隐藏状态更新；
• 虚线箭头表示解码步骤；

之前的隐藏状态存储在估算的时间步长中，并被重用。因此，向前隐态hf只需要更新一次，向后隐态hb最多更新两次。

3.1.4 Complexity

NAOMI的总运行时间为O(T)。内存使用与双向RNN (O(T))类似，不同的是我们只需要为前向编码器保存最新的隐藏状态。译码器超参数R的选取使$2^R$接近于最常见的缺失区间大小，并且运行时间随序列长度的对数缩放。

3.2 Learning Objective

设C = {X*}是完全序列的集合，Gθ (X, M)表示由θ参数化的生成模型naomi, p(M)表示掩模之上的先验。填补模型可以通过优化以下目标来训练：

其中L为某个损失函数。对于确定性动力学，我们使用均方误差（MSE）作为损失。对于随机动力学，我们可以用判别器来代替L，从而得到对抗性的训练目标。我们使用了一个类似的公式，即生成式对抗性模仿学习(GAIL)，它在序列水平上量化了生成数据和训练数据之间的分布差异。

对抗训练。
给定NAOMI中的生成器Gθ和一个ω参数化的鉴别器Dω，对抗训练目标函数为:

GAIL直接从生成器中对序列进行采样，并使用策略梯度优化参数。这种方法可能存在较大的方差，需要大量的样本。我们采用基于模型的方法，使生成器完全可微，而不是采样。通过将隐态映射到高斯分布的均值和方差，我们在每个时间步骤都应用了重新参数化技巧。

四、Experiments

我们在各种动态环境中评估NAOMI：现实世界的交通时间序列，物理引擎的台球轨迹，以及职业篮球游戏中的团队运动。我们将与以下算法进行比较：

• Linear：线性插值，缺失的值是利用插值预测从两个最近的已知观测；
• KNN：K个最近邻，缺失值作为K个最近邻序列的平均值；
• GRUI[9]：基于GAN的时间序列填补自回归模型，改进后可处理完整的训练序列。对整个时间序列应用一次判别器。
• MaskGAN：带有actor-critic GAN的自回归模型，使用对抗性模仿学习进行训练，对每个时间步应用判别器，只使用前向编码器，并以单个分辨率解码；
• SingleRes：我们的模型的自回归对应版本，使用对抗性模仿学习进行训练，使用前向后编码器，但以单一分辨率解码。如果没有对抗性训练，它会简化为 BRITS[14]

【9】Multivariate Time Series Imputation with Generative Adversarial Networks
【7】MaskGAN: Better Text Generation via Filling in the______
【14】BRITS: Bidirectional Recurrent Imputation for Time Series

我们随机选择需要掩蔽的步数，然后在序列中随机抽取需要掩蔽的具体步数。因此，模型在训练过程中学习各种缺失的模式。我们对所有方法使用相同的屏蔽方案，包括MaskGAN和GRUI。

五、Conclusion

我们提出了一种深度生成模型-NAOMI，用于在长期的时空序列中填补缺失数据。NAOMI使用一种非自回归的方法，递归地从粗粒度到细粒度的分辨率找到和预测缺失的值。利用多分辨率建模和对抗性训练，NAOMI能够在已知观测数据很少的情况下学习条件分布。未来的工作将研究如何在没有完全训练序列的情况下推断潜在分布。

参考：

1. https://blog.csdn.net/qq_40206371/article/details/124534243