《Transformers with Attentive Federated Aggregation for Time Series Stock Forecasting》2023.3.17组会论文记录

第二次组会了，实验室同门看的都是时间序列股票预测，我也想找这个方向的，这次从知乎上搜到了如何查找会议论文，链接网址放这防止丢了《如何找到高质量的会议期刊》
从里面找了个CCF的C类会议，从里面找了个链接就去搜Time-Series Forecasting和Stock，很幸运找到了一篇2023International Conference on Information Networking 的会议，还是今年新发表的。

01简介

背景
近期股票市场预测受到关注，由于股票的不确定性、复杂性和非平稳性，传统机器学习方法很难应对非平稳的股票预测问题。Transformer作为最强大的序列建模架构，将位置编码与多头自注意力机制结合，实现了并行化和从长序列中提取语义特征的效果，还可以捕获顺序数据之间的远程依赖关系和交互。但应用于股票预测的适应性有限，传统的训练方案在模型过度拟合、数据稀缺和隐私问题方面表现不足。
意义
利用分布式机器学习技术和联邦学习（Federated Learning）方法，将分布式客户端模型的本地计算更新与分散的私有数据聚合实现全局模型的协作学习，可以克服数据稀缺和隐私挑战，但是联邦变压器对时间序列问题的适应仍有限，本文为探索联邦变压器是否对时间序列预测任务有效开展工作，通过将时间的向量表示嵌入到输入序列中来保存时间序列数据的时间信息，开发出一种基于多头自注意力机制的时间序列转换器，以有效预测全球股票市场收盘价的未来趋势。
最新且高效的时间序列预测转换器
在Transformer的基础上延伸出来的几个如下：Informer、Autoformer、FEDformer、ESTformer、Pyraformer这几个模型我都还没有看，当时最基础的Transformer都没看，当时和闺蜜说这个，闺蜜推荐我去看这个论文**《Attention Is All Your Need》**当时我没太在意，想着没时间了，就看了看摘要，没想到第二天同门汇报就是这个论文，太巧了，这也正好给我一个发言的思路了哈哈哈哈。