论文笔记 Exploring Large Language Models forHuman Mobility Prediction under Public Events

202311

1 intro

1.1 背景

• 公共活动（音乐会、体育赛事等）常常在特定时间吸引大量访客到特定地点，导致旅行需求不规律激增
  • 为了维护活动场地的安全并确保交通系统的顺畅运行，准确预测这些活动的旅行需求模式至关重要
• 之前已经提出了许多旅行需求预测方法
  • 但它们通常忽略了由公共活动引起的不规则移动模式
• 互联网和社交媒体平台的广泛采用为收集活动细节提供了新途径
  • 活动组织者在售票网站和社交媒体上宣传他们的活动，突出显示重要细节如日期、时间、地点和文本描述
  • 先前的研究已证明这类在线信息在提高特殊事件下的移动性预测准确性方面的潜力
    • 大多数研究仅整合了数值或分类数据，包括活动类别、时间和相关社交媒体帖子的数量。通常忽视的是，事件描述中丰富的文本信息，它可以提供有关活动主题、参与者和背景细节的宝贵见解

1.2 三个挑战

• 有效利用在线活动描述中丰富的文本数据，这些数据在结构和深度上常常不同
  • 一些活动附带的文本描述很少，需要模型进行更深层的语义理解
    • 例如，对于一个如“WALK THE MOON”这样的事件描述，传统语言模型可能无法立即解释为是美国摇滚乐队Walk the Moon的音乐会
  • 对于详细描述的事件，模型需要筛选描述以提取相关信息
    • 例如，如果一个事件描述深入讲述了表演者的生平故事，那么对于语言模型来说，区分无关细节和移动性预测相关信息将会很有挑战性。
• 由于事件的不频繁和不规则发生导致的数据稀疏性
  • 数据稀疏性使得分析人类移动性趋势变得复杂，特别是考虑到每个事件可能产生的独特影响
    • 例如，两场不同音乐会产生的旅行需求可能会有很大不同，这在很大程度上受到表演知名度的影响
• 解读模型预测的逻辑
  • 虽然机器学习和深度学习模型展现出了令人印象深刻的预测能力，但由于它们的“黑箱”本质，它们缺乏透明度和可解释性

1.3 论文思路

• 引入了一个基于LLMs的公共事件下人类移动性预测框架（LLM-MPE）
• 两个主要阶段：
  • （1）特征开发
    • 使用两种类型的数据：过去的事件描述和人类移动流
    • 为了确保模型有效地理解公共事件对旅行需求的影响，我们将过去的人类移动流分解为常规模式（主要由日常通勤产生）和不规则偏差（主要由公共事件产生）
    • 利用LLMs将不同结构和长度的事件描述数据标准化为统一且简洁的格式
  • （2）移动性预测
    • 创建高效的提示以指导LLMs推断即将到来的公共事件的可能旅行需求，同时阐明其预测背后的理由

2 方法

2.1 问题定义

2.1.1 活动场馆的旅行需求

• 对于特定时间步骤 t 的给定活动场馆 v，我们通过测量其周边出流（离开）和入流（到达）行程的数量来衡量其旅行需求，表示为二维向量

2.1.2 公共活动

• 公共活动表示为 e = (te, ve, he)，其中 te 指定活动时间，ve 指示场馆，he 包含未结构化文本格式的活动特征
  • he这些特征包括从在线源获得的活动标题（和描述）
• 给定一个活动场馆 v 和时间间隔 t，相关活动特征定义为 Ev,t = {e1, e2, ..., ec}，表明在场馆 v 和时间 t 有 c 个活动，每个活动都由其相应的特征描述

2.1.3 问题：活动场馆的人类移动性预测

对于一个活动场馆 v，我们的目标是基于过去 T 时间段的历史移动数据 Yv,t−T:t，结合过去活动的特征 Ev,t−T:t，和下一个计划活动的特征 Ev,t+1，预测即将到来的旅行需求，表示为 Yv,t+1

2.2 模型概览

2.3 事件特征格式化

• 设计了一个用于事件特征格式化的提示
  • 通过输入活动标题（及其描述，如果可用），LLMs 输出更具信息量的事件摘要

• 以下是论文给的三个示例
• 
  • 示例 A 展示了 LLMs 能够巧妙地将冗长和无组织的事件描述压缩为简洁的摘要，省略非必要细节
  • 根据示例 B 和 C，很明显 LLM 了解从篮球队到电子音乐乐队的各种特定名词。配备了这样的知识，它们可以识别原始标题中缺失的事件类别

2. 4 移动特征分解

• 将旅行需求分为常规模式（主要由日常通勤产生）和不规则偏差（主要由公共活动产生）
  • 从计算没有活动时常规移动模式的基线开始，利用一个历史平均模型，考虑了来自相似过去时期的旅行需求

2.5 人类移动性预测

3 实验

3.1 实验数据

• 在纽约市（NYC）的巴克莱中心进行了一个案例研究

• 纽约市出租车数据
  • 收集自 NYC Open Data，提供了纽约市黄色和绿色出租车行程的详细记录
  • 使用2013-10-01至2015-06-30期间的数据进行实验
  • 识别了起始或结束于巴克莱中心220米半径内的出租车行程，这个距离被选定以包含所有相邻道路
    • 这些行程随后被汇总到每日间隔中
    • 
      • 在靠近巴克莱中心的地方，上车次数明显高于下车次数，这表明与会者倾向于选择其他交通方式到达，而偏好出租车离开。
      • 与非活动日相比，巴克莱中心活动日的出租车使用量显著增加
      • 不同活动日的出租车乘客量波动显著，这可能受活动性质和表演者吸引力的影响
• 活动数据
  • 从巴克莱中心的官方网站自动抓取的
  • 网站列出了每个活动的标题、预定的开始和结束时间，以及偶尔更详细的描述（见图4(b)）
  • 收集了跨越285天的350个活动的数据
  • 为了研究事件描述的广度和细节的变化，分析了词数分布
    • 

3.2 使用的评价标准

3.3 实验结果

4 LLM的不足

• 幻觉问题
• 由于训练数据的限制，LLMs 的知识基础不总是最新的
• 大多数最先进的 LLMs，包括 GPT-4，不是开源的，并且使用它们需要支付费用
  • ——>处理大量数据时产生显著的费用
• 预测效率低下，因为需要为每一个预测实例调用 OpenAI API
  • GBDT 大约需要 2.4 秒来为所有测试样本生成预测，而 LLM-MPE 需要 12.7 秒来为单个测试样本生成预测
• 集中于一个特定的活动场馆，没有考虑不同场馆之间的空间互动
  • 在全市预测场景中，这些互动可能至关重要
  • 目前，没有广泛接受的方法以一种 LLMs 能够理解的方式编码空间关系
  • 即使空间关系用自然语言表达，LLMs 如何有效地理解并基于这些信息进行推理还不清楚
  • ——>可能的解决方法1：用自然语言表达空间关系（例如，描述一个场馆与另一个场馆的接近程度）
  • ——>可能的解决方法2：与特定领域的深度神经网络，如图神经网络（GNNs）结合使用
    • 使用 LLMs 将文本数据转换成潜在空间，然后将其用作 GNNs 中的节点属性