深度学习学习——transformer用于时间序列预测

相关链接：pytorch1.9 transformer
Time2Vec
为了实现时间嵌入，我们将使用论文 Time2Vec: Learning a Vector Representation of Time [2] 10中描述的方法。文中提出一种“对于时间的模型无关向量表示，叫做Tiem2Vector”. 你可以认为一个该向量表示，就像一层普通的embedding layer一样,可以被添加到神经网络结构来提高一个模型的性能。
这篇论文有两个主要思想：1、作者发现时间的有意义的表示必须包括 周期性和非周期性两个模式 。周期性模式的一个例子是每一年不同季节的天气变化。相反，非周期性模式的一个例子是疾病，患者越老越容易发生。2、时间表示应该 对时间缩放 具有 不变性， 这意味着时间表示不受不同时间增量（例如：天，小时、秒或较长时间范围）的影响。结合周期性和非周期性模式的思想以及时间缩放的不变性，我们通过以下数学定义来表示。