TLAE时间潜在自动编码器

最新推荐文章于 2023-03-28 21:35:10 发布

weixin_40643914

最新推荐文章于 2023-03-28 21:35:10 发布

阅读量524

点赞数

本文链接：https://blog.csdn.net/weixin_40643914/article/details/114761462

版权

TLAE时间潜在自动编码器

出自2021 AAAI文章《Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate TimeSeries Forecasting》，下面是我对这篇文章的理解与总结。

这篇文章针对高维时间序列的预测（我理解应该是输入是多维，输出也是多维，而不是输入多维，输出一维）问题，提出了一种时序潜在自动编码的概率模型。
高维多变量时间序列的概率预测十分具有挑战性，以前的工作要么做出简单的分布假设，要么放弃不同序列之间的相关性建模。一个比较有效的方法是利用可扩展矩阵分解进行潜在空间预测，但这种嵌入是线性的，而且在深度学习预测中无法端到端训练。因此，文章针对这些问题，利用自动编码器代替线性的矩阵分解方法，可以捕捉更复杂的关系，在潜在空间上进行时序建模，潜在空间的预测值通过解码器还原到输入空间。文章还建立了潜在空间的概率模型，对潜在空间的输出，用多元高斯分布建模，损失函数包括原始空间输入输出的重构误差以及负对数似然损失。
在这里插入图片描述

通过这样设计的损失函数，一方面，通过将Y优化为接近Y^，模型被期望捕获相关交叉时间序列，并将该全局信息编码成潜在变量X，降低了维度。另一方面，最小化X和X^之间的差异允许模型捕获时间相关性，并提供潜在表示的预测能力。
在这里插入图片描述

模型的结构如上图所示，首先对与输入Y维度为n*T，n是不同序列的个数（特征向量维数），T是时间序列的长度，同时T又被分成1—L，L+1—B两部分，前一部分是输入，后一部分是预测值。通过一个G（Encoder），得到输入Y的潜在向量矩阵X，相当于对Y做了矩阵分解，X可以在更低维度的潜在空间上表示Y。之后将x1—xL输入RNN（TCN）中，得到xL+1（预测值），xL+1再输入RNN中，得到xL+2，以此类推，最终得到X^，X包括x1—xL，xL+1—xB，前一部分是Y分解得到的，后一部分是预测值。这个X^{通过F（Decoder）可以得到重构之后的Y}。同时对X进行高斯分布建模，计算似然函数。

总结：这篇文章提出的方法是针对高维时间序列，实际应用中高维变量的情况比较少，而且通常是分类问题或者预测一个变量的值，但是，文章提出的方法还是很有启发性的。由于这篇文章是2021年才发表的，网上也没有讲解的博客，第一次看理解起来确实很困难，需要花很长时间认真的去看，我看的时候对于一些数学概念不太清楚，查了之后再看理解就会轻松一些。