【KDD2024】城市GPT：时空大模型

来源：专知
本文为论文介绍，建议阅读5分钟
我们精心设计架构的UrbanGPT持续优于最先进的基准方法。

时空预测旨在预测和洞察城市环境中随时间和空间不断变化的动态，其目的是预见未来的模式、趋势和事件，涵盖城市生活的各个方面，包括交通、人口流动和犯罪率。尽管许多努力致力于开发神经网络技术以实现对时空数据的精确预测，但需要注意的是，许多方法严重依赖充足的标记数据来生成精确的时空表示。不幸的是，在实际的城市感知场景中，数据稀缺的问题普遍存在。在某些情况下，从下游场景中收集任何标记数据变得具有挑战性，进一步加剧了问题。因此，建立一个能够在各种时空学习场景中表现出强大泛化能力的时空模型变得必要。

受大规模语言模型（LLMs）显著成就的启发，我们的目标是创建一个时空大语言模型（Spatio-Temporal LLM），能够在广泛的下游城市任务中表现出卓越的泛化能力。为实现这一目标，我们提出了UrbanGPT，它将时空依赖编码器与指令微调（instruction-tuning）范式无缝集成。这一集成使LLMs能够理解时间和空间之间的复杂相互依赖关系，在数据稀缺的情况下促进更全面和准确的预测。为了验证我们方法的有效性，我们在各种公共数据集上进行了广泛的实验，涵盖了不同的时空预测任务。结果一致表明，我们精心设计架构的UrbanGPT持续优于最先进的基准方法。这些发现突显了构建时空学习大语言模型的潜力，特别是在标记数据稀缺的零样本（zero-shot）场景中。

时空预测的驱动力是准确预测和深入了解城市环境的动态特性。通过分析和理解时间和空间维度上的变化动态，时空预测可以预见城市生活各个方面的未来模式、趋势和事件。这在城市计算领域具有重要意义，能够通过预测交通模式来优化交通流量、减少拥堵并提升整体城市流动性【18】【31】。此外，预见人口流动可以帮助有效的城市规划和资源分配【7】【20】。再者，预测犯罪能够极大地提升公共安全【32】。时空预测在塑造更智能和高效的城市中起着至关重要的作用，最终改善城市生活质量。

需要强调的是，在时空预测领域中常用的各种神经网络架构。这些架构旨在捕捉和建模数据中空间和时间维度之间的复杂关系。广泛采用的一种架构是卷积神经网络（CNN）【15】【39】【45】，它通过在输入数据上应用卷积滤波器来有效提取空间特征。另一类时空神经网络是循环神经网络（RNN）家族【1】【34】【43】，这些时空RNN适合通过维持一个可以随着时间保留信息的记忆状态来捕捉时间依赖性。最近，图神经网络（GNN）在时空预测中的使用激增【36】【40】【47】。GNN擅长建模表示为图的数据中的复杂空间关系，其中每个节点对应一个空间位置，边捕捉它们之间的连接。

尽管当前的时空神经网络技术已被证明非常有效，但必须承认，它们强烈依赖于充足的标记数据以生成准确的预测。然而，在实际的城市感知场景中，数据稀缺的问题普遍存在。例如，由于成本高昂，在整个城市空间部署传感器以监测全市交通流量或空气质量是不切实际的【17】【41】。此外，有限的标记数据可用性挑战扩展到不同城市的时空预测，在每个目标城市获取标记数据成为一项艰巨的任务【13】【38】。这些问题强调了需要新颖的解决方案来解决数据稀缺问题，并增强时空模型在各种智能城市应用中的泛化能力。

受大规模语言模型（LLMs）显著进展的启发，我们的主要目标是创建一个在广泛的城市任务中具有出色泛化能力的时空LLM。利用LLMs固有的推理能力，我们旨在将其成功扩展到时空分析领域。我们的目标是开发一个能够有效理解和预测复杂时空模式的模型，使其能够在各种城市场景中表现出色。

尽管开发一个能够有效处理多样下游任务的多功能时空模型至关重要，但将时空上下文与大规模语言模型（LLMs）的知识空间对齐并使其理解时间和空间之间的复杂依赖性是一个重大挑战。这些障碍需要精细的模型设计，以弥合时空数据的独特特性与LLMs内编码的知识之间的差距。

**贡献**：鉴于这些挑战，我们提出了UrbanGPT，一个专门为时空预测量身定制的大型语言模型。UrbanGPT的核心是一种新颖的时空指令微调范式，旨在将时间和空间的复杂依赖关系与LLMs的知识空间对齐。在我们的UrbanGPT框架内，我们首先引入了一个时空依赖编码器，该编码器利用多层次时间卷积网络，使模型能够捕捉到各种时间分辨率下时空数据中的复杂时间动态。然后，我们的模型涉及对齐文本和时空信息，以使语言模型能够有效注入时空上下文信号。这是通过利用一个轻量级对齐模块来实现的，该模块投影时空依赖关系的表示。通过整合文本和时空领域中的有价值信息，生成了更具表现力的语义表示。

在指令微调过程中加入时空信息，使语言模型在理解和处理时空数据中的复杂关系和模式方面变得更加熟练。通过利用从时空领域获得的见解，语言模型能够更好地捕捉时空现象的细微差别和复杂性。这反过来使模型即使在数据可用性有限的情况下，也能够在各种城市场景中做出更可靠和深入的预测。

为了展示我们提出的模型的优越预测性能，我们在图1中展示了在一个由文本指令引导的零样本交通流量预测场景中，将其与大型语言模型（LLaMA-70B）和时空图神经网络（STGCN）进行比较。大语言模型LLaMA能够有效地从输入文本中推断出交通模式。然而，它在处理具有复杂时空依赖性的数值时间序列数据时的局限性，有时可能导致相反的交通趋势预测。另一方面，预训练的基线模型在理解时空依赖性方面表现出色，但可能会因过拟合源数据集而在零样本场景中表现欠佳，表明其在现有时空预测模型之外的泛化能力有限。相比之下，我们提出的模型实现了领域特定时空知识和语言建模能力的和谐结合，使我们在数据稀缺情况下做出更准确和可靠的预测。

总而言之，我们的主要贡献可以概括如下：

- 据我们所知，这是首次尝试开发一个能够在不同数据集上预测多种城市现象的时空大模型，特别是在数据可用性有限的条件下。

- 我们提出了UrbanGPT，一个时空预测框架，使大语言模型（LLMs）能够理解时间和空间之间的复杂依赖关系。这是通过将时空依赖编码器与指令微调范式无缝集成来实现的，有效地将时空上下文与LLMs对齐。

- 在三个基准数据集上进行的广泛实验提供了令人信服的证据，证明了我们提出的UrbanGPT在零样本时空学习场景中的卓越泛化能力。这些发现突显了模型的强大泛化能力，证明其在没有先验训练数据的情况下，能够准确预测和理解时空模式的有效性。