论文翻译
文章平均质量分 94
龙的爹2333
这个作者很懒,什么都没留下…
展开
-
论文翻译 | Is a Question Decomposition Unit All We Need? 我们是否只需要一个‘问题分解单元’?
大型语言模型(LMs)已经在许多自然语言处理(NLP)基准测试中取得了最先进的性能。随着新基准数量的增加,我们构建了更大、更复杂的LM。然而,由于与之相关的成本、时间和环境影响,构建新的LM可能不是一个理想的选择。我们探索了另一种途径:我们是否可以通过根据模型的优势来表达数据来修改数据,从而使模型更容易回答问题?我们研究人类是否可以将一个难题分解成一组更简单的问题,这些问题对模型来说相对更容易解决。原创 2024-08-02 10:02:19 · 606 阅读 · 0 评论 -
论文翻译 | Successive Prompting for Decomposing Complex Questions 分解复杂问题的连续提示
回答需要做出潜在决策的复杂问题是一项具有挑战性的任务,尤其是在监督有限的情况下。最近的研究利用大型语言模型(LMs)的能力,在少量样本设置中通过展示如何在单次处理复杂问题的同时输出中间推理过程,来执行复杂的问答任务。我们引入了“连续提示”(Successive Prompting)方法,在这个方法中,我们将复杂任务迭代地分解为简单任务,解决它,然后重复这个过程直到得到最终解决方案。原创 2024-07-16 21:08:29 · 856 阅读 · 0 评论 -
论文翻译 | Decomposed Prompting: A MODULAR APPROACH FORSOLVING COMPLEX TASKS 分解提示:解决复杂任务的模块化方法
少样本提示是使用大型语言模型解决各种任务的一种非常强大的方法。然而,当任务复杂性增加或任务本身的单个推理步骤难以学习时,特别是当嵌入到更复杂的任务中时,这种方法就会出现问题。为了解决这个问题,我们提出了分解提示,这是一种通过(通过提示)将复杂任务分解为更简单的子任务来解决复杂任务的新方法,这些子任务可以委托给专用于这些子任务的基于提示的LLM共享库。这种模块化结构允许针对特定的子任务对每个提示进行优化,必要时还可以进一步分解,如果需要,甚至可以很容易地替换为更有效的提示、训练过的模型或符号函数。原创 2024-07-13 11:21:58 · 944 阅读 · 0 评论 -
论文翻译 | LEAST-TO-MOST: 从最少到最多的提示使大型语言模型中的复杂推理成为可能
思维链提示(Chain-of-thought prompting)在多种自然语言推理任务上展现了卓越的性能。然而,在需要解决的问题比提示中展示的示例更难的任务上,它的表现往往不佳。为了克服从简单到困难的泛化挑战,我们提出了一种新颖的提示策略,即最少到最多提示(least-to-most prompting)。这个策略的核心思想是将复杂问题分解为一系列更简单的子问题,然后按顺序解决它们。解决每个子问题都得益于之前解决的子问题的答案。原创 2024-07-12 11:37:29 · 1037 阅读 · 0 评论 -
论文翻译 | 反应:在语言模型中协同推理与行动 REACT: SYNERGIZING REASONING AND ACTING IN LANGUAGE MODELS
虽然大型语言模型(LLM)在语言理解和交互式决策方面的表现令人印象深刻,但它们的推理能力(如思维链提示)和行动能力(如行动计划生成)主要是作为单独的主题进行研究的。在本文中,我们探索了LLM的使用,以交错的方式生成推理跟踪和任务特定的操作,允许两者之间更大的协同作用:推理跟踪帮助模型诱导、跟踪和更新操作计划以及处理异常,而操作允许它与外部来源(如知识库或环境)交互并收集额外的信息。原创 2024-07-10 15:47:38 · 945 阅读 · 0 评论 -
论文翻译 | Chain-of-Thought Prompting Elicits Reasoningin Large Language Models 思维链提示在大型语言模型中引出推理
我们探讨了如何生成思维链——一系列中间推理步骤——显著提高大型语言模型执行复杂推理的能力。特别是,我们通过一种称为思维链提示的简单方法,展示了这种推理能力如何在足够大的语言模型中自然出现,其中提供了一些思维链演示作为提示的示例。在三个大型语言模型上的实验表明,思维链提示提高了一系列算术、常识和符号推理任务的性能。经验上的收获可能是惊人的。例如,在GSM8K的数学单词问题基准测试中,仅使用八个思维链示例就可以实现最先进的精度,甚至超过了经过微调的带有验证器的GPT-3。原创 2024-07-09 11:51:25 · 2561 阅读 · 0 评论 -
论文翻译 | (TAKE A STEP BACK) 后退一步:在大型语言模型中通过抽象来调用推理
我们介绍了STEP-BACK提示,这是一种简单的提示技术,使LLM能够进行抽象,从而从包含特定细节的实例中派生高级概念和第一原则。使用概念和原则来指导推理,LLM显着提高了他们遵循正确推理路径的能力。我们使用PaLM-2L、GPT-4和Llama2-70B模型进行了STEP-BACK提示的实验,并在各种具有挑战性的推理密集型任务(包括STEM、Knowledge QA和Multi-Hop Reasoning)上观察到显著的性能提升。原创 2024-07-06 10:33:02 · 1145 阅读 · 0 评论 -
论文翻译 | Measuring and Narrowing the Compositionality Gap in Language Models 测量和缩小语言模型中的组合性差距
我们研究了语言模型执行组合推理任务的能力,其中整体解决方案依赖于正确组合子问题的答案。我们衡量模型能够正确回答所有子问题但不能生成整体解决方案的频率,我们称之为组合性差距。我们通过提出多跳问题来评估这一比率,这些问题的答案需要组合在预训练期间不太可能同时观察到的多个事实。在GPT-3系列模型中,随着模型大小的增加,我们发现单跳问答性能比多跳问答性能提高得更快,因此组合性差距没有减小。这个令人惊讶的结果表明,虽然更强大的模型记忆和回忆更多的事实性知识,但他们在进行这种组合推理的能力上并没有相应的提高。原创 2024-07-04 15:05:28 · 1119 阅读 · 0 评论 -
论文翻译 | (DSP)展示-搜索-预测:为知识密集型自然语言处理组合检索和语言模型
检索增强式上下文学习已经成为一种强大的方法,利用冻结语言模型 (LM) 和检索模型 (RM) 来解决知识密集型任务。现有工作将这些模型结合在简单的“检索-读取”流程中,其中 RM 检索到的段落被插入到 LM 提示中。为了充分发挥冻结 LM 和 RM 的潜力,我们提出了 DEMONSTRATE-SEARCH-PREDICT (DSP) 框架,该框架依赖于在 LM 和 RM 之间通过复杂的流程传递自然语言文本。原创 2024-07-01 20:04:52 · 1085 阅读 · 0 评论 -
论文翻译 | PRCA:通过可插拔奖励驱动的上下文适配器拟合用于检索问答的黑盒大语言模型
检索问答(ReQA)任务采用检索增强框架,该框架由检索器和生成器组成。生成器根据检索器检索到的文档制定答案。将大型语言模型(llm)作为生成器是有益的,因为它们具有先进的QA功能,但它们通常太大而无法根据预算限制进行微调,而且其中一些只能通过api访问。为了解决这个问题并进一步提高ReQA性能,我们提出了一个可训练的可插拔的奖励驱动上下文适配器(PRCA),将生成器作为一个黑盒。PRCA以可插拔的方式定位在检索器和生成器之间,通过最大化强化学习阶段的奖励,以token自回归策略操作来精炼检索到的信息。原创 2024-06-29 19:23:49 · 636 阅读 · 0 评论 -
论文翻译 | ITER-RETGEN:利用迭代检索生成协同增强检索增强的大型语言模型
检索增强生成由于有望解决包括过时知识和幻觉在内的大型语言模型的局限性而引起广泛关注。然而,检索器很难捕捉相关性,尤其是对于具有复杂信息需求的查询。最近的工作提出通过让大型语言模型积极参与检索来改进相关性建模,即用生成来指导检索。在本文中,我们证明了通过我们称之为ITER-RETGEN的方法可以实现强大的性能,该方法以迭代的方式协同检索和生成:模型对任务输入的响应显示了完成任务可能需要的内容,因此可以作为检索更相关知识的信息上下文,从而有助于在另一次迭代中生成更好的响应。原创 2024-06-26 10:48:16 · 1105 阅读 · 0 评论 -
论文翻译 | WebGPT: Browser-assisted question-answering withhuman feedback WebGPT:使用人工反馈进行浏览器辅助问答
我们使用基于文本的网络浏览环境对GPT-3进行微调,以回答长格式问题,该环境允许模型搜索和导航网络。通过将任务设置为可以由人类执行,我们能够使用模仿学习来训练任务模型,然后使用人类反馈来优化答案质量。为了使人类更容易评估事实的准确性,模型必须在浏览时收集参考资料以支持其答案。我们在ELI5上训练和评估我们的模型,ELI5是Reddit用户提出的问题的数据集。我们的最佳模型是通过使用行为克隆对GPT-3进行微调,然后对训练用于预测人类偏好的奖励模型进行拒绝采样来获得的。这个模型的答案在56原创 2024-06-25 17:08:30 · 634 阅读 · 0 评论 -
论文翻译 | Active Retrieval Augmented Generation 主动检索增强生成
尽管大型语言模型(LMs)在理解和生成语言方面具有非凡的能力,但它们往往会产生幻觉,并产生与事实不准确的输出。通过从外部知识资源中检索信息来扩展LMs是一个很有前途的解决方案。大多数现有的检索增强LMs采用检索-生成设置,仅根据输入检索一次信息。然而,在涉及生成长文本的更一般的场景中,这是有限的,在生成过程中不断收集信息是必不可少的。在这项工作中,我们提供了主动检索增强生成的广义视图,这些方法在生成过程中主动决定何时检索和检索什么。原创 2024-06-24 17:22:49 · 1047 阅读 · 0 评论 -
论文翻译 | SELF-RAG: 学习通过自我反思来检索、生成和评估
尽管大语言模型(LLMs)具有非凡的能力,但是它们经常产生不符合事实的响应,因为它们只依赖于它们封装的参数化知识。检索增强生成(retrieve - augmented Generation, RAG)是一种通过检索相关知识来增强LMs的特殊方法,减少了此类问题。然而,不加选择地检索和合并固定数量的检索段落,无论检索是否必要,或者段落是否相关,都会降低LM的通用性,或者可能导致无益的响应生成。原创 2024-06-21 11:33:31 · 997 阅读 · 0 评论