HKUST：LLM旅行规划中的时空感知评测

📖标题：TP-RAG: Benchmarking Retrieval-Augmented Large Language Model Agents for Spatiotemporal-Aware Travel Planning
🌐来源：arXiv, 2504.08694

🌟摘要

🔸大型语言模型 (LLM) 在自动化旅行规划方面显示出希望，但它们在解决细微的时空合理性方面往往不足。虽然现有的基准侧重于基本的计划有效性，但它们忽略了路线效率、POI吸引力和实时适应性等关键方面。
🔸本文介绍了 TP-RAG，这是第一个为检索增强的时空感知旅行规划量身定制的基准。我们的数据集包括来自在线旅游文档的 2,348 个真实世界旅行查询、85,575 个细粒度注释 POI 和 18,784 个高质量旅游轨迹参考，从而实现动态和上下文感知规划。通过广泛的实验，我们发现整合参考轨迹显着提高了旅行计划的空间效率和 POI 合理性，而由于参考和噪声数据冲突，挑战在普遍性和鲁棒性方面仍然存在。
🔸为了解决这些问题，我们提出了 EvoRAG，这是一种进化框架，可以有效地将不同的检索轨迹与 LLM 的内在推理协同。与 groundup 和检索增强基线相比，EvoRAG 实现了最先进的性能，提高了时空顺应性并减少常识违规。我们的工作强调了将 Web 知识与 LLM 驱动的优化混合的潜力，为更可靠和自适应的旅行规划代理铺平了道路。

🛎️文章简介

🔸研究问题：如何提升大语言模型（LLM）在旅行规划中的时空感知能力，以生成更高效、舒适和灵活的旅行计划？
🔸主要贡献：论文提出了一种新的评估基准TP-RAG，专注于查询特定的时空上下文化和轨迹级知识利用，以提高LLM在旅行规划中的表现。

📝重点思路

🔸构建一个包含2348个旅行查询的数据集，涵盖85575个旅游景点（POIs）和18784条检索轨迹。
🔸采用检索增强生成（RAG）方法，结合外部知识提升LLM的旅行规划能力。
🔸使用多种评价指标，包括访问持续时间、时间缓冲比例和POI的相关性等，系统评估生成的旅行计划。
🔸通过多代理合作与反馈机制，优化旅行计划的生成过程，提高计划的质量和实用性。

🔎分析总结

🔸实验结果表明，检索增强的规划方法在大多数评价指标上显著优于传统的直接提示方法。
🔸高级LLM代理在时空旅行规划中表现不佳，表明复杂任务分解或答案反思可能导致错误累积和时空推理的退化。
🔸研究发现，知识丰富性和后处理技术在不同基础模型上的效果不稳定，显示出上下文敏感性。

💡个人观点

论文的核心在于提出了TP-RAG评估基准，强调了旅行规划中时空感知的重要性，并通过系统的实验验证了检索增强方法在实际应用中的有效性。

🧩附录