A Federated Large Language Model for Long-Term Time Series Forecasting

本文是LLM系列文章，针对《A Federated Large Language Model for Long-Term Time Series Forecasting》的翻译。

摘要

集中式环境中的长期时间序列预测在数据隐私、通信开销和可扩展性方面提出了独特的挑战。为了应对这些挑战，我们提出了 FedTime，这是一种专为长期时间序列预测而定制的联合大语言模型 (LLM)。具体来说，我们引入了具有微调和对齐策略的联合预训练LLM。在学习过程之前，我们采用 K 均值聚类将边缘设备或客户端划分为不同的集群，从而促进更有针对性的模型训练。我们还结合了通道独立性和修补功能，以更好地保留本地语义信息，确保保留重要的上下文细节，同时最大限度地降低信息丢失的风险。我们通过对各种现实世界预测基准的广泛实验证明了 FedTime 模型的有效性，展示了相对于最新方法的实质性改进。此外，我们还展示了 FedTime 在简化资源使用方面的效率，从而减少了通信开销。

1 引言

2 相关工作

3 方法

4 实验

5 结论

我们引入了 FedTime，这是一种用于长期时间序列预测的联合大型语言模型。 FedTime 利用联合学习&#