时间序列预测模型对比——视频笔记

Autoformer
他的特点是加入了自动相关，代替原来的自注意力机制，因为作者认为数据不能简单由数值来判断，而应该根据趋势来判断。
他与Dlinear一样，都是用到了decomposition，这个拆分(快速傅里叶变换FFT)基于 STL(季节性，趋势性)，数据=趋势性数据+季节性数据(周期)+余项

auto-correlation代替注意力，series-decomp用来把原始数据分解成季节(频繁小震荡)和趋势(大趋势)

 

编码器是原始输入
解码器是拆分后的季节性和趋势性

auto-correlation利用随机过程的马尔可夫过程，以涛为时间窗口，计算分解后的两个周期对应那两小段的相关性，是个标量(最后加个softmax保证计算出的多个标量和是1)，多个计算的标量连起来就是个趋势，这个自己找的趋势和上个图的 trend-cyclical init原始分解出的趋势加起来。解码器出来时季节和趋势又加回去

结论：他对季节性周期性强的数据，预测效果最好，比如车流(有早晚高峰，工作日比周末车少)

informer
目前对于减少transformer时间复杂度的方法

作者创新了个概率分散自注意力机制，使计算大小从L*d变为u*d，减少了时间复杂度

蒸馏主要靠这个最大池化。

Yformer
informer和unet结合，unet就是先卷积，再反卷积
但这个效果只比informer好了一点点

Dlinear
双线性结构。decomposition先分解原数据的趋势和季节，autoformer也用这个。
主打一个简单。
但视频作者说这种唱反调的容易被拒稿

mamba
主要是说，循环神经网络 训练慢，推理快， transformer训练快，推理慢，
mamba两个都快，训练时并行计算，推理时递归计算。
让SSM由时不变改为时变。速度快了2.8倍，内存少了86%