Hierarchical Attention-Based Recurrent Highway Networks for Time Series Prediction论文解读

论文链接：https://arxiv.org/pdf/1806.00685.pdf

Abstract

时间序列的预测问题已经被广泛应用于很多领域，但是给定历史观测和外部变量的预测还是具有挑战性的，现有的方法不能考虑外部变量不同分量之间的相互作用，可能会影响预测精度。本文提出了HRHN模型，该方法结合了时间—空间特征提取和时间特征提取技术。

总结：与之前讲过的DA-RNN比较一下，DA-RNN在第一阶段处理外部特征时，只是利用attention机制给予对目标输出更为重要的特征更高的权重，并没有考虑这些输入特征之间的相关性，所以这些特征之间是相互独立的。本文提出的HRHN模型考虑了这些输入特征之间的相互作用。

Introduction

任务：给定1~T-1时刻的目标序列以及1~T-1时刻的外部特征序列，预测T时刻的目标值。

比较了一下几个解决序列问题的模型：具有外部输入的自回归移动平均模型(ARMAX)，假设y_T依赖于历史观察以及过去的外部变量X_1,X_2,...,X_T-1，然而该方法假设底层模型是线性的；DA-RNN没有考虑外部数据不同组成部分之间的相关性。

Contributions

（1）利用卷积神经网络来学习不同特征之间的相关性，使用RHN来总结外部变量在不同层次上形成不同的语义；