本文介绍了一种名为ST-LLM的时空大语言模型，用于交通预测。ST-LLM通过将位置和时间步长转化为tokens，并结合时空嵌入模块，学习空间和时间表示，提高了预测准确性。部分冻结注意力策略进一步增强了模型对时空相关性的捕获。实验证明，ST-LLM在交通预测任务上超越了现有最佳模型，且在小样本和零样本预测中表现稳定。
本文是LLM系列文章，针对《Spatial-Temporal Large Language Model for Traffic Prediction》的翻译。
摘要
交通预测是智能交通系统的一个关键组成部分，它致力于利用历史数据预测特定地点的未来交通。尽管现有的交通预测模型通常强调开发复杂的神经网络结构，但其准确性并没有得到相应的提高。近年来，大型语言模型（LLM）在时间序列分析方面表现出了卓越的能力。与现有模型不同，LLM主要通过参数扩展和广泛的预训练来发展，同时保持其基本结构。在本文中，我们提出了一种用于交通预测的时空大语言模型（ST-LLM）。具体而言，ST-LLM将每个位置的时间步长重新定义为token，并结合了时空嵌入模块来学习token的空间位置和全局时间表示。然后，这些表示被融合以向每个token提供统一的空间和时间信息。此外，我们提出了一种新的LLM的部分冻结注意力策略，该策略旨在捕捉交通预测的时空相关性。在真实交通数据集上进行的综合实验证明，ST-LLM的性能优于最先进的模型。值得注意的是，ST-LLM在小样本和零样本预测场景中也表现出稳健的性能。
已下架不支持订阅
扫一扫
707
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
