RAG框架
文章平均质量分 82
龙的爹2333
这个作者很懒,什么都没留下…
展开
-
论文 | LEAST-TO-MOST PROMPTING ENABLES COMPLEXREASONING IN LARGE LANGUAGE MODELS
这篇论文提出了“从简单到复杂提示”(Least-to-Most Prompting)这一新的提示策略,旨在解决大语言模型在解决比提示示例更复杂的问题时表现不佳的难题。从简单到复杂提示 结合了这两种提示方法的优点,通过分解提示将复杂问题分解成子问题,再通过思维链提示引导模型逐步解决这些子问题,最终得到问题的答案。的核心思想是将复杂问题分解成一系列更简单的子问题,每个子问题都比前一个子问题更容易解决。这种分解和解决相结合的方式,能够有效地引导模型逐步理解复杂问题,并将其解决。原创 2024-07-12 16:23:13 · 1041 阅读 · 0 评论 -
论文 | REACT: SYNERGIZING REASONING AND ACTING INLANGUAGE MODELS
ReAct是一种将推理和行动与LLM相结合的通用范式。ReAct 是一个很有潜力的方法,它将推理和行动结合起来,为解决各种语言推理和决策任务提供了新的思路。本文首先认为,到目前为止,LLM 在语言理解方面令人印象深刻,它们已被用来生成 CoT(思想链)来解决一些问题,它们也被用于执行和计划生成。引入一个名为ReAct的框架,在这个框架中,LLM被用来以交互的方式生成“合理的推理轨迹”以及“特定于任务的操作”。尽管这两者是分开研究的,但本文旨在以交错的方式将推理和行动结合起来,以提高LLM的表现。原创 2024-07-10 21:01:47 · 1088 阅读 · 0 评论 -
论文 | Chain-of-Thought Prompting Elicits Reasoningin Large Language Models 思维链
这篇论文研究了如何通过生成一系列中间推理步骤(即思维链)来显著提高大型语言模型进行复杂推理的能力。论文展示了一种简单的方法,称为思维链提示,通过在提示中提供几个思维链示例来自然地激发这种推理能力。论文中提到,思维链推理能力与模型规模相关,只有大型模型才能有效地生成思维链。这篇论文通过示例学习的方式,利用大型语言模型自动生成思维链,从而提高了其推理能力。通过学习这些示例,模型可以学会在遇到新的推理任务时生成自己的思维链,从而进行推理。,让大型语言模型自动生成思维链,从而提高其进行复杂推理的能力。原创 2024-07-09 18:42:29 · 691 阅读 · 0 评论 -
论文 | TAKE A STEP BACK: EVOKING REASONING VIA ABSTRACTION IN LARGE LANGUAGE MODELS
一种用于大型语言模型 (LLM) 的简单提示技术,它能够让 LLM 通过抽象推理来从包含特定细节的实例中得出高级概念和基本原则。利用这些概念和原则来指导推理,LLM 可以显著提高其沿着正确推理路径解决问题的能力。原创 2024-07-08 13:12:42 · 869 阅读 · 0 评论 -
论文 | Measuring and Narrowing the Compositionality Gap in Language Models
关于一个复杂的多跳问题,大语言模型可以正确回答基于该问题分解的多个子问题,但是对于这个问题的最终答案大语言模型可能最终还是给不出来正确的。该论文根据这个现象提出了一个术语,叫“组合性差距”。提出一种叫“self-ask”的方法,该方法是一种基于提示工程的更高级的技术,它通过引导模型进行自我反思和问题分解,从而更好地理解问题和生成答案。原创 2024-07-04 17:14:54 · 571 阅读 · 0 评论 -
论文 | PRCA: 通过可插拔奖励驱动的上下文适配器拟合用于检索问答的黑盒大语言模型
将 LLM 作为黑盒模型,意味着我们将其视为一个不可见的、无法直接修改的组件,只关注其输入和输出。为了解决黑盒生成器带来的挑战,PRCA 使用了一种策略来估计每个时间步的奖励 Rt,从而避免频繁调用生成器 API。如何在检索增强式问答(ReQA)任务中,利用大型语言模型(LLMs)作为生成器,同时避免对其进行耗时的微调。提出了一种可训练的插件式奖励驱动上下文适配器(PRCA),它位于检索器和生成器之间,以黑盒方式工作。通过强化学习优化 PRCA 的参数,目标是最大化生成器的奖励,并保持与原始参数的相似性。原创 2024-07-03 15:39:47 · 405 阅读 · 0 评论 -
论文 | DEMONSTRATE–SEARCH–PREDICT: Composing retrieval and language models for knowledge-intensive NLP
DSP 框架使用一系列可组合的函数,用于实现演示、检索和预测三个阶段的任务,并通过弱监督学习的方法自动标注演示数据,从而降低标注成本。知识密集型 NLP 任务 (例如问答、事实核查、信息检索等) 通常需要大量的知识,而预训练语言模型 (LM) 中的知识往往是不完整和不可靠的。DSP 框架的核心思想是将检索模型 (RM) 和语言模型 (LM) 协同工作,通过三个阶段的流程来实现更复杂的 NLP 任务。在传统的 NLP 任务中,中间步骤 (例如多跳问答中的各个查询) 通常需要人工标注,这需要大量的时间和精力。原创 2024-07-03 15:33:49 · 882 阅读 · 0 评论 -
论文 | Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
尽管在第一次迭代中受到分心的检索知识(HotPotQA示例中不同领域的能力)的影响,并显示出不完美的参数知识(StrategyQA示例中生成的Raclette不太可能在巴黎找到的语句),LLM在第二次迭代中生成有助于检索相关知识的短语,并成功纠正其输出。即用最初的任务输入作为查询,然后大语言模型根据这个查询去检索相关内容,检索到的内容就会显示出要回答问题可能需要的内容,然后大语言模型再根据这些内容再检索然后再生成,一直迭代这个过程,直到达到最大迭代次数或者是生成最理想的答案。,将检索到的段落(表示为。原创 2024-06-26 20:58:20 · 884 阅读 · 0 评论 -
论文 | WebGPT: Browser-assisted question-answering with human feedback
之后,当模型浏览这些检索结果时,它可以执行很多操作。之前关于问答的研究大多专注与改进给定查询的文档检索,就是给模型挂上一个固定的知识库,这个知识库里的内容是固定的,无法与时俱进,所以作者把这个固定的知识库变成了搜索引擎,因为搜索引擎非常强大,可以索引大量最新的文档。所以,文章采用的方法是,收集两个模型生成的对同一个问题的答案,然后去询问人类更赞同哪一个回答,这个过程称为比较。作者设计了一个基于文本的web浏览环境,模型会根据环境的当前状态,给出关于用户提出的问题、当前光标位置、搜索到的结果等等的提示。原创 2024-06-25 21:08:56 · 430 阅读 · 0 评论 -
论文 | Retrieval-Augmented Generation for Large Language Models: A Survey面向大语言模型的检索增强生成技术:综述(下)
这一策略的独特之处在于,通过减少每个文档的内容量和筛选掉不相关的文档,它能更加集中地展示检索结果中的关键信息。为了确保模型能够理解用户查询与内容的相关性,对嵌入模型进行任务特定的微调至关重要,否则未经微调的模型可能无法满足特定任务的需求。在 Liu 于 2023 年提出的 LlamaIndex 中,研究者们通过在查询编码器后加入一个特殊的适配器,并对其进行微调,从而优化查询的嵌入表示,使之更适合特定的任务。RAG中的生成组件不同于传统的语言模型,它的生成组件通过利用检索到的信息来提高文本的准确性和相关性。原创 2024-06-23 20:49:18 · 829 阅读 · 0 评论 -
论文 | Retrieval-Augmented Generation for Large Language Models: A Survey面向大语言模型的检索增强生成技术:综述(上)
最大的挑战是,如何将检索到的文档有效的融入当前的生成任务中。当前的研究主要集中在智能结合不同的搜索技术,优化检索步骤,引入认知回溯概念,灵活运用多样化的查询策略,并利用嵌入式相似度。因此,在检索文档后加入一个额外的验证模块,该模块用来评估文档与查询之间的相关性,这样可以提升RAG的鲁棒性。额外生成模块: 面对检索内容中的冗余和噪声问题,这个模块通过大语言模型生成必要的上下文,而非直接从数据源进行检索。RAG 的组织方法具有高度灵活性,能够根据特定问题的上下文,对 RAG 流程中的模块进行替换或重新配置。原创 2024-06-23 19:27:47 · 953 阅读 · 0 评论 -
论文 | SELF-RAG: LEARNING TO RETRIEVE, GENERATE,AND CRITIQUE THROUGH SELF-REFLECTION
因此,在评估这次输出的IsSup(响应支持度)的分数时,就可以基于logprobs中这些tokens的概率来计算(上面例子中,显然[Fully supported]这个token的概率越高,说明支持度越高)。(就是假设LLM是一个优秀的学生,那么RAG就是一本参考书,这个问题就是LLM在考试的时候可以翻阅参考书,但是选取的知识点用来解答问题不是考题所涉及的知识点,所以最终会导致回答错误)比如提供的知识中只有“中国的首都是北京”,而输出内容中有“北京是中国的首都,北京最受欢迎的景点是长城。原创 2024-06-20 16:17:05 · 1170 阅读 · 0 评论