论文笔记：UrbanGPT: Spatio-Temporal Large Language Models

1 intro

时空预测的目标是预测并洞察城市环境随时间和空间不断变化的动态。其目的是预见城市生活多个方面的未来模式、趋势和事件，包括交通、人口流动和犯罪率。虽然已有许多努力致力于开发神经网络技术，以准确预测时空数据，但重要的是要注意，许多这些方法严重依赖于拥有足够的标记数据来生成精确的时空表示。

不幸的是，数据稀缺问题在实际的城市感知场景中普遍存在。在某些情况下，从下游场景收集任何标记数据变得具有挑战性，这进一步加剧了问题。

因此，建立一个能在多种时空学习场景中表现出强大泛化能力的时空模型变得必要。

借鉴大型语言模型（LLM）的显著成就，我们的目标是创建一个能在广泛的城市下游任务中表现出卓越泛化能力的时空LLM。

为实现这一目标，我们推出了UrbanGPT，它将时空依赖性编码器与指令调优范式无缝集成。这种集成使LLM能够理解时间和空间的复杂相互依赖性，有助于在数据稀缺的情况下进行更全面、更准确的预测。

为验证我们方法的有效性，我们在多个公共数据集上进行了广泛的实验，涵盖了不同的时空预测任务。结果一致表明，我们精心设计的架构的UrbanGPT始终优于最先进的基准。这些发现突显了为时空学习构建大型语言模型的潜力，特别是在标记数据稀缺的零样本场景中。

2 现有挑战