When Urban Region Profiling Meets Large Language Models

本文是LLM系列文章，针对《When Urban Region Profiling Meets Large Language Models》的翻译。

摘要

基于网络数据的城市区域概况对城市规划和可持续发展至关重要。我们见证了LLM在各个领域的上升趋势，特别是在处理多模态数据研究方面，如视觉语言学习，其中文本模态作为图像的补充信息。由于文本模态从未被引入城市区域分析中的模态组合，我们在本文中试图回答两个基本问题：（1）文本模态能增强城市区域分析吗？ii）如果是，以什么方式以及在哪些方面？为了回答这些问题，我们利用大型语言模型（LLM）的力量，引入了第一个LLM增强框架，该框架将文本模态的知识集成到城市图像分析中，名为LLM增强的城市区域分析与对比语言图像预训练（UrbanCLIP）。具体来说，它首先通过开源的图像到文本LLM为每个卫星图像生成详细的文本描述。然后，在图像-文本对上训练模型，无缝地统一了城市视觉表征学习的自然语言监督，以及对比损失和语言建模损失。对中国四大城市三个城市指标的预测结果表明，该方法具有优越的性能，与最先进的方法相比，