Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented

最新推荐文章于 2024-08-25 09:30:17 发布

UnknownBody

最新推荐文章于 2024-08-25 09:30:17 发布

阅读量68

点赞数

分类专栏： RAG for LLM 文章标签：语言模型人工智能算法

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136809156

版权

LLM 日更同时被 2 个专栏收录

515 篇文章 3 订阅

已下架不支持订阅

RAG for LLM

24 篇文章 11 订阅

订阅专栏

本文提出INFO-RAG，一种针对检索增强生成（RAG）中大型语言模型（LLM）的无监督信息细化训练方法。INFO-RAG改善LLM在使用检索信息时的性能，使其能整合并生成更准确、简洁的文本。实验证明，INFO-RAG在多个任务上提高了LLM的性能，并提升了RAG的上下文学习和鲁棒性。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation》的翻译。

摘要

检索增强生成（RAG）通过合并来自检索的附加信息来增强大型语言模型（LLM）。然而，研究表明，LLM在有效使用检索到的信息方面仍然面临挑战，甚至忽视或被其误导。关键原因是LLM的训练并没有清楚地使LLM学会如何使用不同质量的输入检索文本。在本文中，我们提出了一个新的视角，将LLM在RAG中的作用视为“信息精炼器”，这意味着无论检索到的文本的正确性、完整性或有用性如何，LLM都可以始终如一地将知识整合到检索到的文本和模型参数中，以生成比检索到的更简洁、准确和完整的文本。为此，我们提出了一种名为INFO-RAG的信息细化训练方法，该方法以无监督的方式优化RAG的LLM。INFO-RAG是一种低成本、通用的各种任务。对11个数据集在不同任务（包括问答、Slot-Filling、语言建模、对话和代码生成）中的零样本预测进行的广泛实验表明，INFO-RAG平均将LLaMA2的性能提高了9.39%的相对点。INFO-RAG在上下文学习和RAG的稳健性方面也显示出优势。

1 引言

了解本专栏

UnknownBody

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented

检索增强生成（RAG）通过合并来自检索的附加信息来增强大型语言模型（LLM）。然而，研究表明，LLM在有效使用检索到的信息方面仍然面临挑战，甚至忽视或被其误导。关键原因是LLM的训练并没有清楚地使LLM学会如何使用不同质量的输入检索文本。在本文中，我们提出了一个新的视角，将LLM在RAG中的作用视为“信息精炼器”，这意味着无论检索到的文本的正确性、完整性或有用性如何，LLM都可以始终如一地将知识整合到检索到的文本和模型参数中，以生成比检索到的更简洁、准确和完整的文本。
复制链接

扫一扫