ACL2024 | LLM+RAG可能要毁了信息检索，一份深入研究

最新推荐文章于 2024-09-29 22:27:37 发布

程序猿李巡天

最新推荐文章于 2024-09-29 22:27:37 发布

阅读量1k

点赞数 25

文章标签：人工智能开源 embedding python tensorflow 深度学习

本文链接：https://blog.csdn.net/m0_59235945/article/details/141828479

版权

论文：[ACL2024] Spiral of Silence: How is Large Language Model Killing Information Retrieval?—A Case Study on Open Domain Question Answering
地址：https://arxiv.org/pdf/2404.10496

研究背景

研究问题：这篇文章研究了大型语言模型（LLMs）对检索增强生成（RAG）系统的影响，特别是LLM文本在信息检索和生成中的短期和长期效应。具体来说，研究了LLM生成文本是否会逐渐取代人类生成的内容，导致数字信息生态系统中的“沉默螺旋”效应。
研究难点：该问题的研究难点包括：LLM生成文本的快速传播和索引对检索和生成过程的影响；如何评估LLM生成文本对RAG系统的短期和长期影响；以及如何防止LLM生成内容的错误传播和误导信息的扩散。
相关工作：相关研究包括RAG系统的分析、AIGC的影响以及“沉默螺旋”理论的应用。RAG系统的研究表明，检索在增强语言模型效能方面起到了重要作用。AIGC的研究则集中在AI生成内容对社会和技术的影响，特别是对错误信息和偏见的研究。

研究方法

这篇论文提出了一个迭代管道来研究LLM生成文本对RAG系统的短期和长期影响。具体来说，

RAG系统建模：RAG系统可以形式化为一个函数 , 其中是查询集合, 是文档集合, 是LLM的知识库, 是系统生成的文本集合。RAG系统分为检索阶段和生成阶段, 分别通过检索函数和生成函数实现。
模拟过程：模拟过程从纯人类生成文本数据集开始, 逐步引入LLM生成文本, 观察其对RAG系统的影响。具体步骤包括：

基线建立：使用初始数据集建立基准RAG管道的性能。
零样本文本引入：将LLM生成的零样本文本加入数据集 , 生成新的数据集。
检索和重排：对每个查询 , 通过检索函数获取文档子集 , 并进行重排。
生成阶段：使用LLM生成答案文本。
后处理阶段：去除可能暴露LLM身份的文本片段。
索引更新：将生成的文本加入数据集 , 更新索引。
迭代操作: 重复上述步骤, 直到达到所需的迭代次数。

实验设计

数据集和指标：实验使用了常用的开放域问答（ODQA）数据集，包括NQ、WebQ、TriviaQA和PopQA。评估检索阶段的指标包括Acc@5和Acc@20，评估生成阶段使用Exact Match（EM）指标。
检索和重排方法：实验采用了多种检索方法，包括稀疏模型BM25、对比学习基于的密集检索器Contriever、高级BGEBase检索器和LLMEmbedder。重排方法包括T5基础的MonoT5-3B、UPR-3B和BGEreranker。
生成模型：实验结合了多种流行的LLMs生成的文本，包括GPT-3.5-Turbo、LLaMA2-13B-Chat、Qwen-14B-Chat、Baichuan2-13B-Chat和ChatGLM3-6B。

结果与分析

短期影响：

LLM生成文本的引入对RAG系统的检索和生成性能产生了立即影响。检索准确性普遍提高，但QA性能表现不一。
具体数据表明，使用BM25在TriviaQA数据集上的Acc@5提高了31.2%，Acc@20提高了19.1%。
LLM生成文本在大多数情况下提高了检索准确性，但也可能对QA性能产生负面影响。

长期影响：

随着迭代次数的增加，检索有效性普遍下降，而QA性能保持稳定。
例如，在NQ数据集上，从第一次迭代到第十次迭代，Acc@5平均下降了21.4%。
QA性能没有随检索准确性的下降而下降，EM值在小范围内波动，但总体保持稳定。

“沉默螺旋”现象：

检索模型倾向于优先排序LLM生成文本，导致人类生成文本在搜索结果中的地位逐渐下降。
经过十次迭代后，人类生成文本在所有数据集中的比例降至10%以下。
随着时间的推移，观点同质化趋势加剧，检索结果的多样性和准确性均有所下降。

总体结论

这篇论文通过模拟实验揭示了LLM生成文本对RAG系统的“沉默螺旋”效应。研究表明，尽管LLM生成文本在短期内提高了检索准确性，但长期来看可能导致人类生成内容的边缘化和信息的同质化。论文呼吁学术界关注这一问题，确保数字信息环境的多样性和真实性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述