RAG for LLM
文章平均质量分 65
检索增强提高LLM能力
UnknownBody
AI博士,最近一直follow大模型相关论文,每日会更新学术界论文的进展。
展开
-
Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems
摘要1 引言2 相关工作3 Haystack框架中的摘要4 评估协议5 结果6 讨论7 结论LLM和RAG系统现在能够处理数百万个或更多的输入token。然而,评估此类系统在长上下文任务上的输出质量仍然具有挑战性,因为像“大海捞针”这样的任务缺乏复杂性。在这项工作中,我们认为总结可以在这种评估中发挥核心作用。我们设计了一个综合Haystacks文档的程序,确保特定的见解在文档中重复。原创 2024-07-09 11:14:52 · 17 阅读 · 0 评论 -
LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs
在传统的RAG框架中,基本检索单元通常很短。像DPR这样的常见检索器通常处理100个单词的维基百科段落。这样的设计迫使检索器在大型语料库上搜索以找到“针”单元。相比之下,读者只需要从检索到的简短单元中提取答案。这种不平衡的“重”检索器和“轻”读取器设计可能导致次优性能。为了缓解这种不平衡,我们提出了一个新的框架LongRAG,由“长检索器”和“长阅读器”组成。LongRAG将整个维基百科处理成4Ktoken单元,比以前长了30倍。通过增加单元大小,我们将总单元从2200万个显著减少到600万个。原创 2024-07-02 17:21:45 · 38 阅读 · 0 评论 -
CoRAL: Collaborative Retrieval-Augmented Large Language Models Improve Long-tail Recommendation
由于数据稀疏和数据不平衡的问题,长尾推荐对传统的推荐系统来说是一项具有挑战性的任务。最近开发的大型语言模型(LLM)显示了它们在复杂推理方面的能力,这有助于根据很少的先前交互推断用户的偏好。然而,由于大多数基于LLM的系统依赖于项目的语义作为推理的唯一证据,因此忽略了用户-项目交互的协作信息,这可能导致LLM的推理与数据集的特定任务协作信息不一致。为了进一步使LLM的推理与特定任务的用户-项目交互知识相一致,我们引入了协作检索增强LLM,即CoRAL,它直接将协作证据纳入提示中。原创 2024-06-27 14:39:47 · 17 阅读 · 0 评论 -
Self-Retrieval: Building an Information Retrieval System with One Large Language Model
大型语言模型(LLM)的兴起已经改变了信息检索(IR)系统在人类获取信息方面的作用。由于孤立的体系结构和有限的交互,现有的IR系统无法完全适应从直接向人类提供信息到间接为大型语言模型服务的转变。在本文中,我们提出了自检索,这是一种端到端的LLM驱动的信息检索架构,可以将IR系统所需的能力完全内化为单个LLM,并在IR过程中深度利用LLM的能力。具体来说,自检索通过自然语言索引架构将语料库内化为LLM。然后,整个检索过程被重新定义为文档生成和自我评估的过程,可以使用单个大型语言模型端到端地执行。原创 2024-06-21 14:09:46 · 25 阅读 · 0 评论 -
Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
检索增强大语言模型(LLM)将外部知识库中的非参数知识整合到LLM中,已成为提高多项任务(如问答)响应准确性的一种很有前途的方法。然而,即使有各种方法处理不同复杂性的查询,它们要么处理具有不必要的计算开销的简单查询,要么不能充分处理复杂的多步骤查询;然而,并不是所有的用户请求都只属于简单或复杂类别中的一类。在这项工作中,我们提出了一种新的自适应QA框架,该框架可以根据查询复杂性从最简单到最复杂的LLM动态选择最适合(检索增强)LLM的策略。原创 2024-06-07 22:26:36 · 165 阅读 · 0 评论 -
DRAGIN: Dynamic Retrieval Augmented Generation based on the Real-time Information Needs of LLMs
动态检索增强生成(RAG)范式主动决定在大型语言模型(LLM)的文本生成过程中何时检索以及检索什么。该范式有两个关键要素:确定激活检索模块的最佳时刻(决定何时检索)和在触发检索后制定适当的查询(决定检索内容)。然而,当前的动态RAG方法在这两个方面都不足。首先,决定何时检索的策略通常依赖于静态规则。此外,决定检索内容的策略通常仅限于LLM的最新句子或最后几个token,而LLM的实时信息需求可能跨越整个上下文。为了克服这些限制,我们引入了一个新的框架DRAGIN,即基于LLM实时信息需求的动态检索增强生成。原创 2024-05-30 11:03:50 · 28 阅读 · 0 评论 -
Re-Search for The Truth Multi-round Retrieval-augmented Large Language Models are Strong Fake News
假新闻的泛滥对政治、经济和整个社会产生了深远的影响。虽然假新闻检测方法被用来缓解这一问题,但它们主要取决于两个基本要素:证据的质量和相关性,以及判决预测机制的有效性。传统方法通常从维基百科等静态存储库中获取信息,但受到过时或不完整数据的限制,尤其是对于新兴或罕见的声明。以其卓越的推理和生成能力而闻名的大型语言模型(LLM)为假新闻检测引入了一个新的前沿。然而,与传统方法一样,基于LLM的解决方案也要克服陈旧和长尾知识的局限性。此外,检索增强LLM经常遇到低质量证据检索和上下文长度限制等问题。原创 2024-05-29 11:27:19 · 219 阅读 · 0 评论 -
Causal Graph Discovery with Retrieval-Augmented Generation based Large Language Models
因果图恢复在因果推理领域是必不可少的。传统方法通常是基于知识或统计估计的,这受到数据收集偏差和个人对影响兴趣变量之间关系的因素的了解的限制。大型语言模型(LLM)的发展为解决这些问题提供了机会。我们提出了一种新的方法,该方法利用大量科学文献中包含的广泛知识来推导一般因果图恢复任务中的因果关系。这种方法利用基于检索增强生成(RAG)的LLM来系统地分析和提取综合研究论文集中的相关信息。我们的方法首先从聚合的文献中检索相关的文本块。然后,LLM的任务是识别和token因素之间的潜在关联。原创 2024-05-06 10:32:40 · 255 阅读 · 0 评论 -
Advancing Retrieval-Augmented Large Language Models via Query Generation Blending
检索增强的大型语言模型(LLM)在提高知识密集型场景的性能方面提供了巨大的好处。然而,这些方法经常面临复杂输入的挑战,并且由于噪声知识检索而遇到困难,特别是阻碍了模型的有效性。为了解决这个问题,我们引入了BlendFilter,这是一种通过将查询生成混合与知识过滤相结合来提升检索增强LLM的新方法。BlendFilter通过其查询生成方法提出了混合过程,该方法将外部和内部知识增加与原始查询相结合,确保全面的信息收集。此外,我们独特的知识过滤模块利用了LLM的内在功能,有效地消除了无关数据。原创 2024-04-20 21:45:44 · 40 阅读 · 0 评论 -
Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models
幻觉对大型语言模型(LLM)的实际实现提出了重大挑战。参数知识在生成事实内容时的使用受到LLM有限知识的限制,可能导致内部幻觉。虽然整合外部信息有助于填补知识空白,但也会带来不相关信息的风险,从而增加产生外部幻觉的可能性。LLM中的参数知识与外部信息的仔细而平衡的整合对于缓解幻觉至关重要。在这项研究中,我们提出了Rowen,这是一种新的方法,通过针对幻觉输出量身定制的选择性检索增强过程来增强LLM。该过程由多语言语义感知检测模块控制,该模块评估针对相同查询的不同语言的扰动响应的一致性。原创 2024-04-19 11:02:34 · 50 阅读 · 0 评论 -
Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal LLM
由“黑盒”模型驱动的机器人需要提供我们可以信任的人类可以理解的解释。因此,可解释性在值得信赖的自主决策中发挥着关键作用,以提高最终用户的透明度和接受度,尤其是在复杂的自动驾驶中。多模态大语言模型(MLLMs)的最新进展表明,通过产生控制预测和自然语言解释,在增强驱动因素的可解释性方面具有很好的潜力。然而,由于昂贵的注释成本和不同数据集之间的显著领域差距,导致数据严重短缺,这使得开发一个强大且可推广的系统成为一项极具挑战性的任务。原创 2024-04-12 16:53:46 · 29 阅读 · 0 评论 -
Metacognitive Retrieval-Augmented Large Language Models
检索增强生成由于其在生成事实内容方面的功效而成为自然语言处理的核心。虽然传统方法采用单时间检索,但最近的方法已转向多跳推理任务的多时间检索。然而,这些策略受到预定义推理步骤的约束,可能导致响应生成的不准确。本文介绍了MetaRAG,这是一种将检索增强生成过程与元认知相结合的方法。从认知心理学的角度来看,元认知允许一个实体自我反思和批判性地评估其认知过程。通过整合这一点,MetaRAG使模型能够监测、评估和规划其响应策略,增强其内省推理能力。原创 2024-04-10 10:23:51 · 49 阅读 · 0 评论 -
Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models
随着大型语言模型在广泛领域的使用迅速增长,其稳健性变得越来越重要。检索增强生成(RAG)被认为是提高LLM文本生成可信度的一种手段。然而,基于RAG的LLM的输出如何受到略有不同的输入的影响还没有得到很好的研究。在这项工作中,我们发现,即使在提示中插入一个短前缀,也会导致生成远离事实正确答案的输出。我们通过引入一种名为梯度引导提示扰动(GGPP)的新优化技术,系统地评估了这些前缀对RAG的影响。GGPP在将基于RAG的LLM的输出引导到有针对性的错误答案方面实现了高成功率。原创 2024-04-08 18:00:33 · 546 阅读 · 1 评论 -
Enhancing Textbook Question Answering Task with LLM and Retrieval Augmented Generation
由于上下文和多模态数据的复杂性,教科书问答在人工智能中是一项具有挑战性的任务。尽管之前的研究已经显著改进了这项任务,但仍存在一些局限性,包括模型推理能力弱,无法在长时间的上下文中捕捉上下文信息。大型语言模型(LLM)的引入彻底改变了人工智能领域,然而,直接应用LLM往往会导致不准确的答案。本文提出了一种方法来处理TQA中的“领域外”场景,其中通过结合检索增强生成(RAG)技术将概念传播到不同的课程中,并利用迁移学习来处理长上下文和增强推理能力。原创 2024-04-02 17:14:27 · 30 阅读 · 0 评论 -
Enhancing Large Language Model Performance To Answer Questions and Extract Information More Accurate
大型语言模型(LLM)生成对问题的回答;然而,它们的有效性往往受到答案质量次优和偶尔无法提供准确答案的阻碍。为了应对这些挑战,我们采用了一个微调过程,包括反馈和示例来完善模型。目标是通过连续的反馈循环来增强人工智能模型,利用余弦相似性、LLM评估和Rouge-L分数等指标来评估模型。原创 2024-04-02 10:55:54 · 28 阅读 · 0 评论 -
RAG-Driven Enhancement of Multimodal Electronic Health Records Analysis via Large Language Models
多模态电子健康记录(EHR)数据的集成显著提高了临床预测能力。利用临床笔记和多变量时间序列EHR,现有模型往往缺乏与临床任务相关的医学背景,促使外部知识的结合,特别是来自知识图谱(KG)的知识。以往的KG知识提取方法主要侧重于结构化知识提取,而忽略了非结构化数据模式和语义高维医学知识。作为回应,我们提出了REALM,这是一种检索增强生成(RAG)驱动的框架,用于增强多模态EHR表示,以解决这些限制。首先,我们使用大型语言模型(LLM)对长上下文临床笔记进行编码,并使用GRU模型对时间序列EHR数据进行编码。原创 2024-03-26 17:29:06 · 35 阅读 · 0 评论 -
RAFT: Adapting Language Model to Domain Specific RAG
在文本数据的大型语料库上预训练大型语言模型(LLM)现在是一种标准范式。当将这些LLM用于许多下游应用程序时,通常会通过基于RAG的计算或微调,将新知识(例如,时间关键新闻或私有领域知识)额外训练到预训练的模型中。然而,该模型获得这些新知识的最佳方法仍然是一个悬而未决的问题。在本文中,我们提出了检索增强微调(RAFT),这是一种训练方法,可以提高模型在“openbook”域设置中回答问题的能力。在RAFT中,给定一个问题和一组检索到的文档,我们训练模型忽略那些对回答问题没有帮助的文档,称之为干扰文档。原创 2024-03-26 17:21:44 · 166 阅读 · 0 评论 -
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented
检索增强生成(RAG)通过合并来自检索的附加信息来增强大型语言模型(LLM)。然而,研究表明,LLM在有效使用检索到的信息方面仍然面临挑战,甚至忽视或被其误导。关键原因是LLM的训练并没有清楚地使LLM学会如何使用不同质量的输入检索文本。在本文中,我们提出了一个新的视角,将LLM在RAG中的作用视为“信息精炼器”,这意味着无论检索到的文本的正确性、完整性或有用性如何,LLM都可以始终如一地将知识整合到检索到的文本和模型参数中,以生成比检索到的更简洁、准确和完整的文本。原创 2024-03-18 15:03:40 · 49 阅读 · 0 评论 -
Development and Testing of Retrieval Augmented Generation in Large Language Models
目的:大型语言模型(LLM)在医学应用中具有重要的前景。然而,它们的实际实施往往无法结合当前临床专业和任务的基于指南的知识。此外,像微调这样的传统精度提高方法也带来了相当大的计算挑战。检索增强生成(RAG)是在LLM中定制领域知识的一种很有前途的方法,特别适合医疗保健实施中的需求。本案例研究介绍了为医疗保健量身定制的LLM-RAG管道的开发和评估,特别关注术前医学。LLM-RAG系统产生的反应的准确性和安全性被评估为主要终点。方法。原创 2024-03-11 10:53:37 · 24 阅读 · 0 评论 -
A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models
检索增强生成(RAG)是一种通过引入外部知识源来增强大型语言模型(LLM)能力的技术。这种方法解决了LLM的常见局限性,包括过时的信息和产生不准确“幻觉”内容的趋势。然而,评估RAG系统是一个挑战。大多数当前的基准测试主要集中在问答应用程序上,而忽略了RAG可能有益的更广泛的场景。此外,他们在实验中只评估了RAG管道的LLM组件的性能,而忽略了检索组件和外部知识数据库构建的影响。为了解决这些问题,本文构建了一个大规模、更全面的基准,并在各种RAG应用场景中评估了RAG系统的所有组件。原创 2024-03-06 13:16:22 · 237 阅读 · 0 评论