AI论文速读 | 2024[SIGIR]基于大语言模型的下一个兴趣点推荐

最新推荐文章于 2024-06-22 23:30:00 发布
最新推荐文章于 2024-06-22 23:30:00 发布
阅读量1k 收藏 19
点赞数 17
分类专栏： #  AI论文辅读 文章标签： 人工智能 深度学习 机器学习 大数据 论文阅读 推荐算法 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/suzukiwudi/article/details/139691320
版权

论文标题：Large Language Models for Next Point-of-Interest Recommendation

作者：Peibo Li ; Maarten de Rijke ; Hao Xue （薛昊）; Shuang Ao ; Yang Song ; Flora D. Salim

机构：新南威尔士大学(UNSW)，阿姆斯特丹大学（UVA）

论文链接：https://arxiv.org/abs/2404.17591

Cool Paper：https://papers.cool/arxiv/2404.17591

代码：https://github.com/neolifer/LLM4POI

TL, DR：本文通过利用预训练的大语言模型处理位置基社交网络数据，提出了一种新的方法来提高下一个兴趣点推荐的性能，同时通过轨迹提示和关键查询对相似性来缓解冷启动问题。

关键词：位置基社交网络（LBSN）、POI推荐、大语言模型（Large Language Models, LLMs）

Total 10 Pages（2 Methodology+3.5 Experiment）


🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅时空探索之旅QRCode

摘要

下一个兴趣点 (POI) 推荐任务是根据用户的历史数据来预测用户的下一次 POI 访问。基于位置的社交网络（LBSN）数据通常用于下一个 POI 推荐任务，但也面临着挑战。一项经常被忽视的挑战是如何有效地利用 LBSN 数据中存在的丰富上下文信息。以前的方法受到数值性质的限制，无法解决这一挑战。本文提出了一个使用预训练大语言模型（LLM）来应对这一挑战的框架。该框架允许我们以原始格式保存异构 LBSN 数据，从而避免上下文信息的丢失。此外，由于包含常识知识，该框架能够理解上下文信息的内在含义。在实验中，在三个真实的 LBSN 数据集上测试框架。结果表明，所提出的框架在所有三个数据集中都优于最先进的模型。分析证明了所提出的框架在使用上下文信息以及缓解常见的冷启动和短轨迹问题方面的有效性。

Q: 这篇论文试图解决什么问题？

2种POI推荐范式

A: 这篇论文试图解决的问题是如何有效地利用位置基社交网络（Location-based Social Network, LBSN）数据中的丰富上下文信息来提高下一个兴趣点（Point-of-Interest, POI）推荐任务的性能。具体来说，论文提出了以下几个关键挑战：

  1. 上下文信息的提取：如何从原始数据中提取上下文信息，如时间、POI类别和地理坐标。
  2. 上下文信息与常识知识的连接：如何将上下文信息与常识知识相结合，以有效地促进下一个POI推荐。

传统的基于数值的方法在处理上下文信息时存在两个主要限制：

  • 它们需要将异构的LBSN数据转换为数字，这可能导致上下文信息的固有含义丢失。
  • 它们仅依赖于统计和人为设计来理解上下文信息，缺乏对上下文信息提供的语义概念的理解。

为了解决这些挑战，论文提出了一个框架，使用预训练的大语言模型（Large Language Models, LLMs）来处理LBSN数据。该框架允许在原始格式下保留异构的LBSN数据，从而避免上下文信息的丢失，并且能够通过包含常识知识来理解上下文信息的内在含义。

论文的主要贡献包括：

  1. 提出了一个使用预训练大语言模型的框架，用于下一个POI推荐任务，这是首次在标准尺寸的数据集上微调语言模型以利用常识知识。
  2. 提出了基于提示（prompt-based）的轨迹相似性概念，用于结合历史轨迹和不同用户的轨迹信息，以缓解冷启动问题，并提高对各种长度轨迹的预测准确性。
  3. 在三个真实世界的LBSN数据集上进行了广泛的实验评估，证明了所提出的下一个POI推荐模型在所有三个数据集上都显著优于现有的最先进模型。

ChatGPT真实世界数据总结的POI分类

Q: 有哪些相关研究？

A: 论文中提到的相关研究主要分为以下几个领域：

  1. 下一个POI推荐（Next POI Recommendation）：
    • 早期工作通常将下一个POI推荐视为序列推荐任务，使用了FPMC、Markov链和softmax函数等方法。
    • 随着深度学习的发展，开始应用基于RNN的模型，如HST-LSTM、LSTPM、PLSPL、STAN和CFPRec等，这些模型能够捕捉复杂的序列模式。
  2. 基于图的模型（Graph-based models）：
    • 用于解决序列模型的局限性，如STP-UDGAT、HMT-GRN、DRGN、GETNEXT和STHGCN等，这些模型通过全局视角和图注意力网络来捕捉用户和POI之间的复杂关系。
  3. 大语言模型（Large Language Models, LLMs）在时间序列数据（Time-series Data）中的应用：
    • SHIFT和AuxMobLCast等研究将人类移动性预测视为语言翻译问题，使用序列到序列的语言模型。
    • LLM4TS采用了两阶段微调方法，首先对LLM进行监督微调以适应时间序列数据，然后进行特定任务的微调。
  4. 大语言模型在推荐系统（Recommender Systems）中的应用：
    • 近期的研究工作采用了LLMs，如通过设计多个提示模板来从不同角度处理新闻数据，并使用BERT进行提示学习。
    • 其他方法包括直接微调LLMs进行提示完成，或者将LLMs的嵌入与现有序列模型结合，以增强模型的性能。

这些研究为本文提出的使用预训练的大语言模型来处理下一个POI推荐任务提供了理论和技术基础。论文中提到的相关工作还包括了如何通过提示工程（prompt engineering）和微调技术来利用LLMs，以及如何将这些技术应用于推荐系统和时间序列预测任务。

Q: 论文如何解决这个问题？

LLM4POI

提示和签到记录的结构

红色表示当前轨迹块。紫色表示历史轨迹块。橙色表示指令块。蓝色表示目标块。

A: 论文提出了一个基于大语言模型（LLMs）的框架来解决下一个兴趣点（POI）推荐任务中的挑战，具体方法如下：

  1. 轨迹提示（Trajectory Prompting）：
    • 将用户的检查点数据序列转换为自然语言问答格式，以便LLMs能够遵循提示中的指令并生成POI推荐。
    • 通过设计不同的句子块来构建提示，包括当前轨迹块、历史轨迹块、指令块和目标块。
  2. 关键查询对相似性（Key-Query Pair Similarity）：
    • 提出一种计算框架，用于计算自然语言格式中轨迹的相似性，以便从历史轨迹和其他用户的轨迹中捕获用户行为模式。
    • 通过计算关键提示（当前轨迹，不包括最后一个条目）和所有查询提示（代表早于关键提示开始时间的轨迹）之间的相似性，选择与关键提示相似性高的查询提示。
  3. 监督微调（Supervised Fine-tuning）：
    • 采用参数高效的微调技术，包括低秩适应（LoRA）、量化技术和FlashAttention，以减少训练成本和提高模型的效率。
  4. 实验评估：
    • 在三个真实世界的LBSN数据集上进行广泛的实验评估，证明了所提出的模型在所有数据集上都显著优于现有的最先进模型。
  5. 分析：
    • 对模型进行了深入分析，包括用户冷启动分析、轨迹长度分析、历史数据变体数量分析、未见数据泛化分析和上下文信息分析，以展示模型在处理冷启动问题、不同长度轨迹、利用历史数据和上下文信息方面的有效性。

通过这些方法，论文提出的框架能够有效地利用LBSN数据中的上下文信息，并缓解冷启动和短轨迹问题，同时提高下一个POI推荐任务的性能。

key和query prompt形成和配对

key和query的相似度计算

Q: 论文做了哪些实验？

数据集POI分类统计

实验结果

冷启动

轨迹长度分析

A: 论文中进行了多项实验来评估提出的基于大语言模型（LLMs）的下一个兴趣点（POI）推荐框架的性能。具体的实验包括：

  1. 数据集选择：
    • 实验使用了三个公开的数据集：Foursquare-NYC、Foursquare-TKY和Gowala-CA。
  2. 基线模型比较：
    • 与多个现有的推荐模型进行比较，包括FPMC、LSTM、PRME、STGCN、PLSPL、STAN、GETNext和STHGCN。
  3. 模型变体评估：
    • 评估了三种不同的模型变体，包括仅使用当前轨迹块的LLAMA2-7b、加上历史轨迹块但不考虑关键查询相似性的LLAMA2-7b*，以及结合历史轨迹块和关键查询相似性的LLAMA2-7b**。
  4. 评估指标：
    • 使用Accuracy@1作为主要的评估指标，即预测的准确性在推荐列表的第一位。
  5. 实验设置：
    • 描述了实验的具体设置，包括数据预处理、训练集、验证集和测试集的划分，以及模型训练的超参数设置。
  6. 主要结果：
    • 展示了在三个数据集上的实验结果，显示提出的模型在所有数据集上都显著优于基线模型。
  7. 用户冷启动分析：
    • 分析了模型对冷启动问题的处理能力，通过将用户分为活跃、正常和非活跃三组，比较了模型在不同用户群体上的性能。
  8. 轨迹长度分析：
    • 探讨了轨迹长度对模型性能的影响，将轨迹分为长、中、短三类，并分析了模型在不同长度轨迹上的表现。
  9. 历史数据变体数量分析：
    • 研究了在提示中使用不同数量的历史检查记录对模型性能的影响。
  10. 未见数据泛化分析：
    • 评估了模型在未见过的数据集上的泛化能力，即在某个数据集上训练并在其他数据集上评估。
  11. 上下文信息分析：
    • 分析了上下文信息在模型中的作用，通过在提示中移除POI类别名称的上下文信息来评估其对模型性能的影响。
  12. 不同组件效果分析：
    • 通过去除历史轨迹块、关键查询相似性或上下文信息，来评估这些组件对模型性能的贡献。

这些实验全面评估了提出的框架在不同方面的表现，并与现有的推荐模型进行了深入的比较。通过这些实验，论文证明了其方法在处理冷启动问题、不同长度的轨迹、利用上下文信息以及泛化到未见数据方面的优势。

零样本(1个数据集训练，剩下数据集测试)

少样本

（探索泛化能力）POI ID在测试集提示的比例和测试集提示答案在提问中

不同提示

消融实验

Q: 总结一下论文的主要内容

A: 这篇论文的主要内容概括如下：

  1. 问题定义：论文旨在解决如何利用位置基社交网络（LBSN）数据中的丰富上下文信息来提高下一个兴趣点（POI）推荐任务的性能。
  2. 挑战：现有的POI推荐方法在处理上下文信息时存在局限性，包括信息的数值化转换导致语义丢失，以及缺乏对上下文信息语义概念的理解。
  3. 方法：提出了一个基于预训练大语言模型（LLMs）的框架，通过轨迹提示（Trajectory Prompting）将POI推荐任务转化为问答任务，同时利用关键查询对相似性（Key-Query Pair Similarity）来缓解冷启动问题。
  4. 实验：在三个真实世界的LBSN数据集上进行实验，与多个基线模型相比，提出的框架在所有数据集上均显著提高了推荐性能。
  5. 分析：通过用户冷启动分析、轨迹长度分析、历史数据变体数量分析、未见数据泛化分析和上下文信息分析，展示了模型在处理不同用户行为和数据特性方面的有效性。
  6. 贡献：主要贡献包括提出了一个新的框架，利用预训练的LLMs来推荐下一个POI，以及一种新的基于提示的轨迹相似性方法。
  7. 未来工作：论文提出了未来工作的方向，包括效率优化、提示设计改进、链式思考推理、多步未来偏好推断、上下文信息的深入利用等。
    型在处理不同用户行为和数据特性方面的有效性。
  8. 贡献：主要贡献包括提出了一个新的框架，利用预训练的LLMs来推荐下一个POI，以及一种新的基于提示的轨迹相似性方法。
  9. 未来工作：论文提出了未来工作的方向，包括效率优化、提示设计改进、链式思考推理、多步未来偏好推断、上下文信息的深入利用等。
  10. 结论：论文证明了利用LLMs进行下一个POI推荐任务的潜力，并展示了模型在未见数据上的泛化能力，同时指出了当前方法的局限性和未来改进的可能方向。

🌟【紧跟前沿】“时空探索之旅”与你一起探索时空奥秘！🚀
欢迎大家关注时空探索之旅时空探索之旅QRCode

STLearner
关注
  • 17
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
他用GPT-3实现了「量子速读」
04-06
开发者Dan Shippers称，做出这个AI并不难，主要功臣就是语言大模型GPT-3，另外再加几行代码就搞定了。 另外，这哥们儿甚至还嗅到了一丝商机： 网上现在有很多受版权保护的文本、音视频资料集，都能被做成聊天机器人...
英语国际音标速读宝典（可点读）（共32张ppt).ppt
09-08
本资源是一个英语国际音标速读宝典，共32张ppt，旨在帮助学习者快速掌握英语国际音标。下面是对该资源的详细解读： ### 一、单元音 在英语国际音标中，单元音是最基本的音素单元。该资源共介绍了12个单元音，分别...
AI论文速读 | STG-LLM 大语言模型如何理解时空数据？
suzukiwudi的博客
02-25 1350
这篇论文介绍了STG-LLM（Spatial-Temporal Graph-Large Language Model），一种创新的方法，旨在利用大型语言模型（LLMs）进行时空预测。问题背景论文指出，尽管LLMs在自然语言处理和计算机视觉等领域表现出色，但将它们应用于时空预测任务仍然面临挑战，主要是因为文本数据与时空数据之间的差异。STG-LLM方法为了解决这一问题，论文提出了STG-LLM，它包含两个关键组件：STG-Tokenizer和STG-Adapter。
AI论文速读 | TPLLM：基于预训练语言模型的交通预测框架
suzukiwudi的博客
03-13 1327
本文提出了TPLLM框架，一个基于预训练大型语言模型（LLMs）的交通预测系统，它通过结合序列和图嵌入层以及LoRA微调技术，能够在数据有限的情况下有效提高交通流量预测的准确性和泛化能力。
AI论文速读 | 大语言模型作为城市居民——利用LLM智能体框架生成人类移动轨迹
suzukiwudi的博客
03-05 1094
本文介绍了一种使用大型语言模型（LLM）集成到智能体框架中的新颖方法，以实现灵活高效的个人移动性生成。LLM通过有效处理语义数据并提供对各种任务建模的多功能性，克服了以前模型的局限性。本文的方法解决了将LLM与现实世界城市交通数据结合起来的迫切需求，重点关注三个研究问题：将LLM与丰富的移动数据结合起来，制定可靠的移动生成策略，以及探索LLM在城市交通中的应用。
【论文速读】|理解基于大语言模型的模糊测试驱动程序生成
m0_73736695的博客
04-26 881
本研究探讨了使用大语言模型（LLMs）自动生成Fuzz驱动程序的可行性与挑战。通过设计五种查询策略，从基础到增强，系统性地分析了生成Fuzz驱动程序的过程，并通过与工业界使用的驱动程序进行比较，揭示了其实用性和潜在的改进方向。
AI论文速读 | 【综述】（LLM4TS）大语言模型用于时间序列
suzukiwudi的博客
02-25 1562
大型语言模型 (LLM) 在自然语言处理和计算机视觉等领域得到了广泛应用。除了文本、图像和图形之外，LLM还具有分析时间序列数据的巨大潜力，使气候、物联网、医疗保健、交通、音频和金融等领域受益。这篇综述论文对利用LLM进行时间序列分析的各种方法进行了深入的探索和详细的分类。强调了法学硕士原始文本数据训练与时间序列数据的数值性质之间差距的固有挑战，并探索将LLM知识迁移和蒸馏到数值时间序列分析的策略。
AI论文速读 |【综述】城市基础模型回顾与展望——迈向城市通用智能
suzukiwudi的博客
02-13 1021
机器学习技术现已成为智能城市服务进步不可或缺的一部分，在提高城市环境的效率、可持续性和宜居性方面发挥着至关重要的作用。最近ChatGPT等基础模型的出现，标志着机器学习和人工智能领域的革命性转变。它们在情境理解、解决问题和适应各种任务方面无与伦比的能力表明，将这些模型整合到城市领域可能会对智慧城市的发展产生变革性影响。尽管人们对城市基础模型（Urban Foundation Models, UFMs）的兴趣日益浓厚，但这个新兴领域面临着缺乏明确定义、系统评价和通用解决方案等挑战。
AI论文速读 | 2024【综述】图神经网络在智能交通系统中的应用
suzukiwudi的博客
02-13 1480
智能交通系统（ITS）在缓解交通拥堵、降低交通事故发生率以及提升城市规划效率等方面扮演着至关重要的角色。但由于交通网络结构的复杂性，传统的机器学习及统计方法正逐渐显得不足以应对这些挑战。随着人工智能时代的来临，深度学习框架在众多领域取得了突破性的进展，并且被广泛认为是解决这些复杂问题的有效手段。特别是自2019年以来，图神经网络（GNNs）因其在处理图结构数据方面的卓越性能，在ITS领域显示出巨大的潜力。目前，众多学者正日益关注GNNs在交通领域的应用，并已取得了一系列显著成果。
AI论文速读 | 2024[KDD]GinAR—变量缺失端到端多元时序预测
suzukiwudi的博客
06-08 997
多元时间序列预测 (MTSF) 对于决策至关重要，基于从多个序列的历史观测中识别出的复杂关系来准确预测未来的值/趋势。最近，时空图神经网络 (STGNN) 因其在挖掘时空依赖性方面的强大能力而逐渐成为 MTSF 模型的主题，但它们中的大多数都严重依赖于历史数据完整性的假设。实际上，由于数据收集器故障和耗时修复等因素，收集整个历史观测值而不遗漏任何变量极具挑战性。在这种情况下，STGNN 只能利用正常变量的子集，并且很容易受到不正确的时空依赖性建模问题的影响，从而导致其预测性能下降。
AI论文速读 | TF-LLM：基于大语言模型可解释性的交通预测
suzukiwudi的博客
04-10 1061
交通流量预测为智能交通系统提供了重要的未来视角。可解释的预测为影响交通模式的因素提供了宝贵的见解，有助于城市规划者、交通工程师和政策制定者就基础设施发展、交通管理策略和公共交通规划做出明智的决策。尽管基于深度学习的预测方法广泛流行且准确性值得称赞，但其透明度和可解释性常常令人失望。最近，大规模时空数据的可用性和大型语言模型（LLM）的发展为城市交通预测开辟了新的机遇。随着LLM的流行，人们见证了基础模型在各种任务中潜在的推理和生成能力。将文本视为输入和输出，LLM在生成更直观和可解释的预测方面具有优势。
speedread:一个简单的基于终端的开源类Spritz-like（在最佳读取点上对齐的每个单词的RSVP）
05-07
一个简单的基于终端的开源软件，类似于Spritz。 此命令行过滤器将输入文本显示为在最佳阅读点上对齐的按单词的RSVP（快速串行视觉表示）。 这种输入模式允许眼睛以比平时更快的速度阅读文本，因为眼睛可以固定在一...
QSR可跨国语言量子波动速读.pdf
06-19
QSR可跨国语言量子波动速读.pdf
Ritz.js:一款干净便携的速读工具
06-18
Ritz.js 一款干净便携的速读工具 TODO：填写这个！ CC BY NC 2015 David Bradbury —
Talk｜香港科技大学冯宸：高效自主的大尺度场景空中覆盖与重建
TechBeat人工智能社区博客
06-20 1068
本期为TechBeat人工智能社区第601期线上Talk。 北京时间6月19日(周三)20:00，香港科技大学冯宸博士生—冯宸的Talk已经准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “高效自主的大尺度场景空中覆盖与重建”，他围绕团队在利用无人机进行大尺度场景下的快速自主覆盖与重建方面取得的进展和思考展开。该工作已入选ICRA 2024 Finalist for Best Paper Award on UAV。
Midjourney绘画提示词精选：提升AI艺术创作的秘诀
最新发布
weixin_42132035的博客
06-22 535
在AI艺术创作领域，MidJourney作为一款强大的绘画生成工具，受到了越来越多艺术家和设计师的青睐。通过提供简洁但富有创意的提示词，可以帮助MidJourney生成令人惊叹的艺术作品。在本文中，我们将分享一些精选的MidJourney绘画提示词，助你在AI艺术创作中取得更好的效果。
内积知识点小记
liujianjun1536500976的专栏
06-21 600
对于两个向量a = [a₁, a₂,…, aₙ]和b = [b₁, b₂,…, bₙ]，它们的点积定义为：a·b = a₁b₁ + a₂b₂ + … + aₙbₙ。使用矩阵乘法，把（纵列）向量当作n×1 矩阵，点积也可以写为：a·b = (a^T) * b，这里的a^T指示矩阵a的转置。
【diffusers极速入门（三）】生成的图像尺寸与 UNet 和 VAE 之间的关系
weixin_44212848的博客
06-20 958
UNet 是一种卷积神经网络架构，最初设计用于生物医学图像分割。其结构类似于一个对称的 U 字形，由编码器（下采样）和解码器（上采样）组成。编码器逐步提取图像特征并缩小空间维度，解码器则将这些特征还原到原始的空间维度，同时逐步增加分辨率。对称结构：编码器和解码器对称分布。跳跃连接：直接将编码器的中间层输出传递到解码器的对应层，保留了高分辨率特征。多尺度特征提取：在不同尺度上提取特征，提升了网络对细节的捕捉能力。VAE 变分自编码器是一种生成模型，通过学习输入数据的潜在表示来生成新数据。编码器。
Unity2D代码实现点击某物体后，物体改变速读，过一段事件后物体速度复原
07-20
要实现在Unity2D中点击某个物体后，物体改变速度，并在一段时间后恢复原始速度，可以按照以下步骤进行： 1. 创建物体：首先创建一个物体，可以使用Unity的模型编辑器或导入自定义模型。 2. 添加组件：给物体添加刚体组件和碰撞器组件，以便进行物理模拟。 3. 编写脚本：创建一个脚本来控制物体的速度变化和复原。在脚本中，可以使用协程来延迟一段时间后恢复原始速度。 ```csharp using UnityEngine; public class ObjectController : MonoBehaviour { public float originalSpeed = 5f; // 物体的原始速度 public float changedSpeed = 10f; // 物体改变后的速度 public float restoreDelay = 2f; // 物体恢复原始速度的延迟时间 private Rigidbody2D objectRigidbody; private float currentSpeed; void Start() { objectRigidbody = GetComponent<Rigidbody2D>(); currentSpeed = originalSpeed; } void Update() { // 点击鼠标左键时改变物体速度 if (Input.GetMouseButtonDown(0)) { Vector2 mousePosition = Camera.main.ScreenToWorldPoint(Input.mousePosition); Collider2D collider = Physics2D.OverlapPoint(mousePosition); if (collider != null && collider.gameObject == gameObject) { ChangeSpeed(changedSpeed); StartCoroutine(RestoreSpeed(restoreDelay)); } } // 应用物体速度 Vector2 velocity = transform.up * currentSpeed; objectRigidbody.velocity = velocity; } void ChangeSpeed(float newSpeed) { currentSpeed = newSpeed; } System.Collections.IEnumerator RestoreSpeed(float delay) { yield return new WaitForSeconds(delay); currentSpeed = originalSpeed; } } ``` 4. 在场景中放置物体实例：在场景中放置一个物体的实例，并将物体控制脚本（ObjectController）添加到物体的GameObject上。 通过以上步骤，当点击该物体时，物体的速度将改变为指定的速度，并在一段时间后恢复原始速度。你可以根据需要调整原始速度、改变后的速度和恢复延迟时间。希望对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值