choose_c的博客

检索增强生成（RAG）使大型语言模型（LLMs）能够利用外部知识源。尽管LLMs处理更长输入序列的能力不断提升，但实证研究表明，生成输出的质量在检索段落数量增多时会先提升后下降。本文探讨了这一现象，识别出“硬否定”对性能下降的关键影响，并提出无训练和有训练的方法以增强基于长上下文 LLM 的 RAG 的鲁棒性。我们展示了检索重新排序的有效性，并探索了RAG特定的隐式微调和带有中间推理的微调方法。最后，对这些有训练方法的设计选择进行了系统分析，包括数据分布、检索器选择和训练上下文长度的影响。

论文题目：FRESHLLMS:REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION论文由Google、University of Massachusetts Amherst、OpenAI联合发布。大部分大语言模型只会训练一次，不会被频繁的更新，训练用到的知识会慢慢过时，所以它无法适应变化的世界。论文作者提出了动态问答的基准测试，称为FRESHQA，并且提出了一种简单的解决问题的方法，FRESHPROMPT。

2.RAG v.s. 微调：RAG对于微调的优势：更新相关文档，控制用户访问文档权限。3.不在上下文：合并策略限制，检索到了答案相关文档，但没有合并进上下文。论文地址：https://arxiv.org/pdf/2401.05856.pdf。7.答案不完整：信息遗漏，答案在相关文档中没有被LLM完整提取。生成组件：使用检索到的信息作为相关上下文为用户查询生成答案。4.没有提取到：相关文档太多噪声和矛盾，LLM不能正常回答。2.遗漏排名靠前文档：答案在文档中，但文档的排名不够高。1.减少LLM的幻觉问题。

检索增强语言模型可以更好的融入长尾问题，但是现有的方法只检索短的连续块，限制了整个文档上下文的整体理解。文本提出方法：递归对文本块进行向量化，聚类，摘要，从下到上构建一棵具有不同摘要级别的树。要解决的问题是，大多数现有的方法只检索几个短的、连续的文本块，这限制了它们表示和利用大规模话语结构的能力。这与需要整合文本多个部分知识的主题问题特别相关，前k个检索到的短连续文本将不包含足够的上下文来回答问题。为了解决这个问题，我们设计了一个索引和检索系统，该系统使用树结构来捕获文本的高级和低级细节。