![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM Instruction
文章平均质量分 63
UnknownBody
AI博士,最近一直follow大模型相关论文,每日会更新学术界论文的进展。
展开
-
LLaMoCo: Instruction Tuning of Large Language Models for Optimization Code Generation
最近的研究探索了使用大型语言模型(LLM)的优化,方法是迭代地从LLM中寻找下一步解决方案,或者直接提示LLM使用优化器。然而,这些方法表现出固有的局限性,包括操作效率低、对提示设计的敏感性高以及缺乏特定领域的知识。我们介绍了LLaMoCo,这是第一个指令调优框架,旨在调整LLM,以代码对代码的方式解决优化问题。具体来说,我们建立了一个全面的指令集,其中包含描述良好的问题提示和有效的优化代码。原创 2024-06-21 10:20:29 · 15 阅读 · 0 评论 -
Dual Instruction Tuning with Large Language Models for Mathematical Reasoning
最近的进展突出了利用思想链(CoT)数据进行数学推理任务的大型语言模型(LLM)的指令调整的成功。尽管LLM经过了微调,但挑战依然存在,例如CoT生成中不正确、缺失和冗余的步骤,导致答案预测不准确。为了缓解这个问题,我们提出了一种双指令调整策略,从正向和反向对数学推理进行精心建模。这包括引入中间推理状态预测任务(正向推理)和指令重构任务(反向推理),以增强LLM对指令的理解和执行。这些任务的训练实例是基于现有的数学指令调整数据集构建的。随后,LLM使用现有的数学指令和新创建的数据进行多任务微调。原创 2024-06-17 09:39:09 · 78 阅读 · 0 评论 -
Argument Quality Assessment in the Age of Instruction-Following Large Language Models
由于其对意见形成、决策、写作教育等的预期影响,对有争议问题的论点的计算处理一直受到NLP的广泛研究。在任何此类应用程序中,一项关键任务是评估论点的质量,但这也特别具有挑战性。在这篇立场文件中,我们从论点质量研究的简要调查开始,在调查中,我们确定质量概念的多样性及其感知的主观性是论点质量评估取得实质性进展的主要障碍。我们认为,遵循大型语言模型(LLM)的指令能力能够跨上下文利用知识,从而实现更可靠的评估。原创 2024-06-12 11:25:08 · 18 阅读 · 0 评论 -
LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding
本文提出了LayoutLLM,这是一种更灵活的文档分析方法,用于理解图像文档。视觉丰富的文档理解任务,如文档图像分类和信息提取,由于其重要性而受到了极大的关注。已经开发了现有的方法,通过结合图像、文本和布局结构的预训练意识来增强文档理解。然而,这些方法需要对每个任务和数据集进行微调,并且模型的训练和操作成本高昂。为了克服这一限制,我们提出了一种新的LayoutLLM,它将这些与大规模语言模型(LLM)集成在一起。原创 2024-06-11 10:44:38 · 282 阅读 · 0 评论 -
Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking
自动事实核查在打击错误信息传播方面发挥着至关重要的作用。大型语言模型(LLM)和指令跟随变体,如InstructionGPT和Alpaca,在各种自然语言处理任务中表现出了显著的性能。然而,他们的知识可能并不总是最新的或足够的,这可能会导致事实核查的不准确。为了解决这一限制,我们建议将指令遵循语言模型的能力与外部证据检索相结合,以提高事实核查性能。我们的方法包括利用搜索引擎来检索给定输入声明的相关证据。这些外部证据是有价值的补充信息,可以增强对预训练语言模型的了解。原创 2023-09-22 11:07:23 · 139 阅读 · 0 评论 -
Fine-Tuning Large Language Models with Sequential Instructions
大型语言模型(LLM)很难在单个查询中遵循一系列指令,因为它们可能会忽略或误解其中的一部分。这会削弱它们在复杂问题中的性能,这些问题的解决方案需要多个中间步骤,如多语言(翻译然后回答)和多模态(说明然后回答)任务。我们用LLaMA-2 70B和Mixtral-8×7B这样大的开源LLM实证验证了这一点。针对当前数据中顺序指令的稀缺性,我们提出了顺序指令调优(SIT),这是一种简单而有效的策略,可以自动增加指令调优数据,并使LLM具备执行多个顺序指令的能力。原创 2024-05-23 09:13:05 · 69 阅读 · 0 评论 -
Semi-Instruct: Bridging Natural-Instruct and Self-Instruct for Code Large Language Models
指令调优在用于程序合成任务的代码大型语言模型(Code-LLM)中起着关键作用。目前,收集调优数据的两种主要范式是自然指令(人工编写)和自我指令(自动生成)。自然指令包含多种正确的代码,但缺乏指令-代码对,并且存在嵌套单行代码等不正确的代码格式。相反,自我指示会自动生成正确的配对数据。然而,由于生成重复,它的多样性较低,无法确保代码的正确性。为了连接这两种范式,我们提出了半指导。它首先通过一种类似于自指令的方法将不同但不适当的代码从自然指令转换为适当的指令-代码对。原创 2024-05-16 11:21:35 · 15 阅读 · 0 评论 -
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
如今的LLM容易受到提示注入、越狱和其他攻击的影响,这些攻击允许对手用自己的恶意提示覆盖模型的原始指令。在这项工作中,我们认为这些攻击背后的主要漏洞之一是LLM通常认为系统提示(例如,来自应用程序开发人员的文本)与来自不受信任的用户和第三方的文本具有相同的优先级。为了解决这个问题,我们提出了一个指令层次结构,它明确定义了当不同优先级的指令发生冲突时,模型应该如何表现。然后,我们提出了一种自动数据生成方法来演示这种分层指令跟随行为,该方法教导LLM选择性地忽略低特权指令。原创 2024-04-30 10:09:08 · 48 阅读 · 0 评论 -
Boosting the Safety of Instruction-Tuned Large Language Models with Reverse Prompt Contrastive
随着指令调优大型语言模型(LLM)的发展,提高LLM的安全性变得更加重要。然而,当前将LLM输出与预期安全性相一致的方法通常需要大量的训练工作,例如高质量的安全数据和昂贵的计算资源,这是昂贵且低效的。为此,我们提出了反向prOmpt contrasstive dEcoding(ROSE),这是一种简单而有效的方法,可以在没有任何额外训练的情况下直接提高现有指令调整LLM的安全性。ROSE的原理是通过抑制由精心设计的反向提示引起的不希望的输出来提高期望的安全输出的概率。原创 2024-04-23 19:35:41 · 42 阅读 · 0 评论 -
Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models
使用大量不同指令的集合对大型语言模型(LLM)进行微调,提高了模型对不同任务的泛化能力,即使是对看不见的任务也是如此。然而,大多数现有的指令数据集只包括单个指令,并且它们很难遵循由多个子任务组成的复杂指令。在这项工作中,我们提出了一个新的组合指令概念,称为指令链(CoI),其中一条指令的输出像链一样成为下一条的输入。与解决单个指令任务的传统实践不同,我们提出的方法鼓励模型逐步解决每个子任务,直到得到最终答案。CoI调整(即,使用CoI指令进行微调)提高了模型处理由多个子任务组成的指令的能力。原创 2024-04-21 20:53:10 · 32 阅读 · 0 评论 -
InstructEdit: Instruction-Based Knowledge Editing for Large Language Models
大型语言模型的知识编辑可以提供一种有效的解决方案来改变模型的行为,而不会对整体性能产生负面影响。然而,当前的方法遇到了跨任务可推广性有限的问题,每个任务需要一个不同的编辑器,这大大阻碍了更广泛的应用。为了解决这一问题,我们首先分析了知识编辑中的多任务泛化问题。具体来说,我们开发了一种基于指令的编辑技术,称为InstructionEdit,它有助于编辑器使用简单的指令同时适应各种任务性能。原创 2024-03-15 14:31:53 · 39 阅读 · 0 评论 -
Selective Instruction Tuning for Large Language Models via Uncertainty-Aware Self-Reflection
指令调整(IT)对于调整大型语言模型(LLM)以实现以人为中心的交互至关重要。最近的进展表明,仔细选择一小部分高质量的IT数据子集可以显著提高LLM的性能。尽管如此,常见的方法往往依赖于额外的模型或数据集,这增加了成本并限制了广泛采用。在这项工作中,我们提出了一种新的方法,称为SelectIT,它利用了LLM本身的基本能力。具体而言,我们利用LLM中存在的内在不确定性,在不需要额外资源的情况下,更有效地选择高质量的IT数据。原创 2024-03-15 10:42:41 · 28 阅读 · 0 评论 -
EasyInstruct:An Easy-to-use Instruction Processing Framework for Large Language Models
近年来,指令调优越来越受到关注,并成为增强大型语言模型(LLM)能力的关键技术。为了构建高质量的指令数据集,人们提出了许多指令处理方法,旨在实现数据量和数据质量之间的微妙平衡。然而,由于各种指令处理方法之间的不一致性,社区没有标准的开源指令处理实施框架,这阻碍了从业者的进一步发展和进步。为了促进指令处理的研究和开发,我们提出了一个易于使用的LLM指令处理框架,该框架将指令生成、选择和提示模块化,同时考虑它们的组合和交互。EasyInstruction公开发布并积极维护。原创 2024-03-12 14:00:14 · 93 阅读 · 0 评论