qq_43260170的博客

原创 iTransformer（论文总结）

从注意力层出来后，做一个残差连接，之后进入到LayerNorm做一个归一化操作，这样可以解决非平稳问题，减少不同度量造成的差异，之后会经过一个前馈神经网络，从前馈神经网络出来后，再进行一次残差连接，最后再经过一个LayerNorm层，将预测结果输出。这个图主要是对比了Transformer和iTransformer的区别，首先对于Transformer来说，在多变量时间序列预测中，会在同一时间提取多个变量的值组成一个向量，然后再这个向量上嵌入时间标记，然后经过编码器和解码器得到预测值。