Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents

UnknownBody

已于 2024-03-08 11:32:23 修改

阅读量246

点赞数

分类专栏： LLM Agent 文章标签： chatgpt 语言模型人工智能

于 2023-11-09 15:46:49 首次发布

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/134312180

版权

LLM 日更同时被 2 个专栏收录

828 篇文章 3 订阅

已下架不支持订阅

LLM Agent

72 篇文章 0 订阅

订阅专栏

本文探讨了大型语言模型（如ChatGPT和GPT-4）在信息检索中的段落排名能力，发现在特定基准上，它们的表现可媲美甚至超越传统监督方法。研究还引入了NovelEval测试集，以检验模型对未知知识的排序效果，并提出排列蒸馏方法，将ChatGPT的排名能力转移到小型专业模型，实现在效率和效果上的提升。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents》的翻译。

摘要

大型语言模型（LLM）在包括搜索引擎在内的各种与语言相关的任务中表现出了显著的零样本泛化。然而，现有的工作利用LLM的生成能力进行信息检索（IR），而不是直接的段落排名。LLM的预训练目标和排名目标之间的差异提出了另一个挑战。在本文中，我们首先研究了生成LLM，如ChatGPT和GPT-4，用于IR中的相关性排序。令人惊讶的是，我们的实验表明，在流行的IR基准上，正确指导的LLM可以提供比最先进的监督方法更具竞争力甚至更优的结果。此外，为了解决LLM数据污染的问题，我们基于最新知识收集了一个名为NovelEval的新测试集，旨在验证模型对未知知识进行排序的能力。最后，为了提高现实世界应用程序的效率，我们深入研究了使用排列蒸馏方案将ChatGPT的排名能力蒸馏到小型专业模型中的潜力。我们的评估结果表明，在BEIR基准上，提取的440M模型优于3B监督模型。重现我们结果的代码可在www.github.com/sunnweiwei/RankGPT上获得。

了解本专栏