【CMU博士论文】结构化推理增强大语言模型（Part 0）

已于 2024-07-18 23:22:27 修改
阅读量912 收藏 26
点赞数 26
文章标签： 语言模型 人工智能 深度学习 语言推理
于 2024-07-18 18:39:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangdaojun/article/details/140529525
版权

问题 ：语言生成和推理领域的快速发展得益于围绕大型语言模型的用户友好库的普及。这些解决方案通常依赖于Seq2Seq范式，将所有问题视为文本到文本的转换。尽管这种方法方便，但在实际部署中存在局限性：处理复杂问题时的脆弱性、缺乏反馈机制以及内在的黑箱性质阻碍了模型的可解释性。

这表明，传统的文本输入-文本输出解决方案可能无法利用对模型利益相关者显而易见的有益结构属性。在模型开发过程中整合结构需要仔细审视问题设置，但通常相对简单的实现可以带来显著的回报——一点结构就可以产生很大作用。

重点：本文提出了通过在语言模型的设计和操作中整合结构化元素来解决这些局限性的方法。

结构：被定义为数据的系统性、层次性或关系性组织和表示，以及在学习和推理过程中引入结构约束。

  • 在训练阶段，提出了训练图辅助问答模型的技术，并发现有助于有效生成序列集的顺序。
  • 在推理阶段，提出了利用代码作为中间表示来整合结构的技术。
  • 在推理后阶段，我们介绍了整合记忆的方法，使模型能够利用反馈而无需额外训练。

作者提出下一代AI系统将把大型语言模型视为强大的内核，在其上构建灵活的推理程序以增强复杂推理。

随着文本生成和推理的用户友好库的广泛普及，许多任务已成功地在seq2seq框架中实现，这不仅扩展到对话生成和摘要生成等自然适合这些范式的任务，还包括传统上与语言模型不相关的任务，如蛋白质序列预测、图生成、程序合成和结构化常识推理。

尽管通常不建议将任务适配到现有工具 [Paszke et al., 2017, Wolf et al., 2019]，但这些库的易用性和可访问性有时会导致忽视使用这些现成解决方案所带来的固有权衡和局限性。

1.1.1 现有大型语言模型设置的局限性

反馈对于根据用户偏好定制模型输出和改善整体用户体验至关重要。然而，目前的Seq2Seq模型并不是为了接收直接反馈而设计的，这使得用户很难影响或指导模型的输出[Kreutzer等人，2018,Jaques等人，2019]。接下来我们将详细阐述这些挑战。

1 提供反馈的能力
提供反馈的能力将实现更具互动性和用户驱动的结果，从而实现更好的定制和改进的整体性能。例如，在对话系统中，在纽约市寻找意大利餐馆的用户可能希望澄清或更正Seq2Seq模型提供的信息。如果模型给出了一个不正确的位置，用户就很难给出反馈并引导模型找到想要的答案。更糟糕的是，如果没有保留反馈的能力，模型将继续重复同样的错误。

已经提出了几种方法来解决这个问题，例如从人类反馈中强化学习[Kreutzer等人，2018,Jaques等人，2019]，用于序列预测的actor-critic算法[Bahdanau等人，2016]，以及监督学习[Stiennon等人，2020,Ouyang等人，2022b]。然而，这些方法通常需要额外的训练或大量的数据，使得它们不太适合少量的学习或数据可用性有限的场景。尽管取得了这些进展，但在开发实用和有效的Seq2Seq模型在少镜头学习背景下的反馈机制方面仍有很大的研究差距。在本文中，我们的目标是研究这一差距，并探索新的方法，可以在不需要重新训练的情况下有效地纳入用户反馈，从而提高Seq2Seq模型在数据可用性有限的现实应用中的性能和适应性。

2 不匹配表示导致的脆性
Seq2Seq模型面临的一个主要挑战是它们在处理明显偏离文本数据的输入或输出时的脆弱性。当应用于非常规任务或领域时，这种限制可能导致性能不佳，这些任务或领域需要与训练期间遇到的表示不同[Lake等人，2017,Ratner等人，2017]。开发能够处理不同和不匹配表示的模型不仅可以提高它们的泛化能力，还可以扩展它们对更广泛任务的适用性。

例如，在大量英语文本语料库上训练的Seq2Seq模型可能不适合处理特定于领域的语言的输入或输出，例如数学方程或计算机代码。在处理不匹配表示方面解决这一差距对于创建更通用和健壮的Seq2Seq模型至关重要，这些模型可以适应各种现实世界的场景和任务[Graber等人，2018]。

3 未能利用数据中固有的结构
普通Seq2Seq模型的一个重大限制是，它们倾向于将输入和输出数据视为非结构化序列，往往忽略了可以用来增强模型理解和生成能力的任何底层结构或模式[Bastings等人，2017]。将领域特定的知识、结构或约束合并到模型体系结构或训练过程中，将支持更准确、有效和一致的输出生成，从而在专门的任务或领域中获得更好的性能。

类人文本生成和推理的关键能力

支持下一个令牌预测目标简单的一个常见论点是，它与人类处理和生成语言的方式相似[Heilbron et al.， 2022]。然而，人类推理表现出的细微差别是当前模型难以复制的。以下几个例子突出了这些局限性:

  1. 生成多个候选项:人类经常创建和评估多个选项，这是标准LLM输出中不固有的过程。
  2. 迭代生成: 在像写作这样的任务中，人类参与评审和改进的迭代过程，而不是由法学硕士完成的一次性生成。
  3. 语境和世界知识:人类的交流依赖于超越直接文本数据的更广泛的知识和语境信息。
  4. 工具使用: 人们使用各种工具来完成任务。最重要的是，人们意识到什么时候需要一个特定的工具。
  5. 问题重构:人们经常重新表述问题并重新尝试。
  6. 优先处理简单的任务:一个常见的人类解决问题的策略是先处理问题的简单部分。

这些示例有一个共同的主题:需要超越简单的输入/输出关系。法学硕士提供了非凡的能力，但为了解决所有的任务，它们需要用更复杂的推理过程来增强。这种需求反映在少量提示技术的兴起中，其中使用搜索、自我改进和工具使用等策略来增强这些模型。这些技术中的许多都隐含地引入了结构元素，下面将对此进行解释。

1.1.2 注入结构:本文的贡献

某些问题可能提供一种固有的结构，可以用于可解释性或有效性。例如，在解决常识性推理问题时，将结果附加在捕获相关关系和依赖关系的知识图上可能是有用的[Han等人，2020]。解决这一差距并开发将结构信息纳入Seq2Seq模型的方法，有可能显著提高其在广泛领域和任务中的性能和适用性[Zhang等人，2019a,c]。

结构在人工智能领域是一个模棱两可的术语，有多种解释[Newell et al.， 1972, Russell, 2010]。为了本文的目的，我们采用了一个广泛的结构视角，不仅包括其在组织训练数据中的使用[Bengio等人，2013,Schmidhuber, 2015]，还包括其在整个模型开发和部署生命周期中的作用，从增强训练和推理结果[Vaswani等人，2017,Devlin等人，2019,Lake等人，2017]，到提高最终结果有效性的推理后调整[Nye等人，2021b, Dohan等人，2022]。

定义1 (结构)。在结构增强生成与推理的背景下，期限结构是指:
在这里插入图片描述
图1.1:本论文提案概述:本论文的目标是在模型开发和部署管道中集成结构。

a. 以系统、分层或关系的方式组织和表示数据、知识或信息[Pearl等人，2000;Bengio等人，2013;Hovy等人，2013]。这有助于捕捉不同元素之间的潜在关系和依赖关系，使人工智能系统更容易理解、生成和使用自然语言进行推理。例如，组织知识图来表示领域中实体之间的关系。
b. 利用数据或问题域中存在的固有结构来优化结果[Bahdanau等人，2014,Vaswani等人，2017,Battaglia等人，2018]。这包括使用数据或知识的结构属性来改进推理、决策或生成，以及增强人工智能系统的效率、可解释性或可扩展性。例如，使用解析树的结构来指导生成语法正确的句子。

注意，这个定义超越了关注数据排列的传统结构定义，并在定义中包含了过程。因此，我们对结构的定义既包括数据的结构，也包括过程本身。
在这里插入图片描述
图1.2:本文四个部分的示例:(a)在数据中注入结构进行微调，(b)结构增强建模，©在推理过程中利用结构，以及(d) LLM的推理后增强。

1.2 论文概述

本文探讨了结构在当代语言生成和推理模型中的重要意义。全文共分为四个部分:

第一部分:在数据中注入结构用于调优，涵盖三个章节，探索大型语言模型(llm)在各种任务中的高级应用。

  • 第2章研究了使用llm (NAACL 2021)生成文档的事件级时间图。它提出了使用llm自动生成文档事件级时间图的第一个研究，并证明了该方法的有效性。
  • 第3章介绍了SETAUG，一种有效利用序不变性和基数性的条件集生成新算法(EMNLP 2022)。通过在增强数据上训练序列到序列模型，该方法在多个基准数据集上取得了显著的改进。

第二部分:结构辅助建模 深入研究了结构增强的生成和推理。

  • 第5章重点介绍了文本风格迁移(ACL 2020)，并提出了在没有并行数据的情况下有效和可解释的风格迁移技术。两个步骤的过程提高了性能和可解释性。
  • 第6章研究了使用图的结构化情景推理(ACL 2021, EMNLP 2021)。提出了一种分层混合专家模型，该模型可以有效地学习输入噪声图的条件，以提高推理能力。

第4章提出了一种使用llm和程序轨迹数据集(DL4C 2022接受的初步数据集版本)的程序中有针对性的算法优化方法。这项工作正在进行中，旨在改进编程任务的优化过程。

第三部分:在推理过程中利用结构探讨了图生成、结构化常识推理和程序辅助语言模型的方法。

  • 第7章介绍了COCOGEN，这是一种使用大型语言模型进行结构化常识推理的新方法(EMNLP 2022)。它将结构化的常识性推理任务视为代码生成任务，允许预先训练的代码LMs作为结构化的常识性推理器执行得更好。
  • 第8章介绍了程序辅助语言模型(PAL)方法，它利用大型语言模型来理解和分解问题，同时将解决步骤外包给运行时(ICML 2023)。这种方法可以提高算术和符号推理任务的性能。

第四部分:llm的推理后增强 研究了两章，重点是通过用户交互和迭代改进来增强大型语言模型(llm)。第9章介绍了MEMPROMPT，这是一种将GPT-3与用户反馈记忆相结合的方法，可提高跨不同任务的准确性(EMNLP 2022, NAACL 2022)。通过将GPT-3与不断增长的误解记录和用户反馈相结合，系统可以根据过去的用户反馈为新的查询生成增强的提示。MEMPROMPT的一种变体，称为FB-NET，利用对结构化生成的微调模型输出中的fx错误的反馈，并在naacl2022上被接受。

第10章介绍了SELF-REFINE，这是一个通过生成多方面反馈来迭代精炼LLM输出的框架，在各种任务中展示了比直接生成的显著改进。拟议的工作旨在通过整合规划方法来扩展自我完善。

在这里插入图片描述
图1.1 作者的成果

关注微信公众号，获取更多资讯内容：
在这里插入图片描述

deardao
关注
使用结构化医学知识库对大型语言模型进行知识调优，以在中文环境下生成可靠的响应
m0_59235245的博客
07-04 307
大型语言模型（LLMs）在通用领域的自然语言处理（NLP）任务中展示出了显著的成功。然而，由于领域知识有限，LLMs有时会生成关于医学事实的幻觉性回应。这样的不足在医学环境中利用LLMs可能存在潜在风险。为了解决这一挑战，我们提出了知识调整（knowledge tuning），利用结构化的医学知识库，使LLMs能够高效地掌握领域知识并实现可靠的回应生成。我们还发布了，一个从医学知识库构建的中文医学知识问答数据集，用于评估LLMs的医学知识水平。
【笔记】探索生成范式：大型语言模型在信息提取中的作用
定期分享我的发现和想法，感谢你的陪伴和支持
04-13 5210
信息抽取（Information Extraction, IE）旨在从自然语言文本中提取结构化知识，如实体、关系、事件等。随着生成式大型语言模型（Large Language Models, LLM）在文本理解和生成领域展现出卓越能力，其在跨领域和跨任务泛化中的潜力受到广泛关注。近期，众多研究致力于利用LLM的能力，为IE任务提出基于生成范式的解决方案。因此，研究计划对LLM在IE任务中的应用进行全面和系统性的回顾与探索，综述了该领域的最新进展。
大语言模型融合知识图谱的问答系统研究
renhongxia1的博客
11-22 488
源自：《计算机科学与探索》 作者：张鹤译 王鑫 韩立帆 李钊 陈子睿 陈哲 “人工智能技术与咨询” 发布 摘 要 大语言模型（large language model，LLM），包括ChatGPT，在理解和响应人类指令方面表现突出，对自然语言问答影响深远。然而，由于缺少针对垂直领域的训练，LLM在垂直领域的表现并不理想。此外，由于对硬件的高要求，训练和部署LLM仍然具有一定困难。为了应对这些挑战，以中医药方剂领域的应用为例，收集领域相关数据并对数据进行预处理，基于LLM和知识图谱设计了
【CMU博士论文】结构化推理增强大语言模型（Part 1 为微调注入数据结构）
liangdaojun的博客
07-18 801
这项工作的重点是**为每个文档生成事件级时间图的问题**，我们将此任务称为**上下文化图生成**。为了解决这一公开挑战，我们提出了一种**新的任务重新表述**，将其**作为序列到序列映射问题**，这使我们能够利用大型预训练模型来完成我们的任务。此外，与现有方法不同，**我们提出的方法完全是端到端的**，并且消除了传统方法通常使用的子系统管道的需要。
2024年7月29日Arxiv语言模型相关论文
数智笔记
07-29 588
原标题作者机构: 佛罗里达国际大学摘要: 语言模型（LMs）在各种自然语言处理（NLP）任务中展现出了出色的性能。尽管取得了这些进展，LMs 可能会继承和放大与性别、种族等敏感属性相关的社会偏见，从而限制它们在现实应用中的采用。因此，公平性在 LM 中得到了广泛探讨，导致提出了各种公平性概念。然而，在特定背景下（例如，中型 LM 与大型 LM）应用哪种公平性定义尚无明确一致意见，而且理解这些定义之间的区别的复杂性可能会导致混淆，阻碍进一步的进展。
自然语言推理综述 翻译及笔记
boywaiter的专栏
01-13 3638
Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches https://www.researchgate.net/profile/Shane_Storks/publication/332169673_Recent_Advances_in_Natural_Lang...
CMU 10423 Generative AI：lec6（生成式对抗网络、有向图等模型 + 阅读材料：GAN论文）
不精，不诚，不足以动人
09-14 821
本讲主要介绍生成式对抗网络（1-24页），还介绍了有向图模型、马尔可夫模型、无向图模型等内容（36-65页）。阅读材料是Ian Goodfellow的GAN论文以及作者自己写的教程性论文GAN Tutorial（57页）。快速了解GAN原理可以看我之前写的生成式对抗网络博客（内容源自优达学城中的代码）：https://blog.csdn.net/weixin_42118657/article/details/120284204。
如何轻量化深度学习模型
andeyeluguo的博客
05-25 5859
概述卷积神经网络依靠神经网络中数以千万计的网络参数共同参与计算，存在网络结构复杂，运算量大，速度慢的缺点，并且很难移植到嵌入式设备中。随着网络模型层数越来越深，参数越来越多，减少他们的大小和计算损耗至关重要，特别是对于在线学习和增强学习这样的实时应用来说。不仅如此，近年来 VR，AR 以及智能可穿戴设备的高速发展，需要研究者们解决将大规模学习系统部署到移动设备上的问题。而达到这个目标需要从很多方面获取整合的解决方案，包括但不限于机器学习，优化方法，计算机结构，数据压缩，索引和硬件设计。这是一个重要且十分活.
OpenPose：Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields论文解读
xiaojunjun200211的博客
08-12 2323
摘要 实时多人二维姿态估计是使机器了解人的关键组成部分图像和视频。在这项工作中，我们提出了一种实时检测图像中多个人的二维姿态的方法，被提议的方法使用非参数表示，我们将其称为部分亲和域(paf)，以学习将身体部位与之关联图像中的个体。这种自下而上的系统无论人数多少都能实现高精度和实时性的形象，在之前的工作中，paf和身体部位位置估计是在训练阶段同时细化的。我们证明仅对PAF进行细化，而不是PAF和身体部位定位的细化，会导致两者都大幅增加运行时性能和准确性。我们还提出了第一个结合体和脚的关键点探测器，基于内部注
论文解读-Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
为之则易，不为则难
01-27 2432
最近需要做视频分类相关的工作，在做技术调研过程中，了解到视频分类包含了两种形式，（1）通用的多标签视频分类，它的特点是标签为静态的，也即做分类时不需要考虑图像帧之间的关联性，因此跟基于图片的分类没什么差异了。（2）行为识别，因为是“行为”，所以这类任务需要考虑图像帧之间的关联性，比如“芭蕾舞”、“绘画”等，包含了3D卷积和Two-stream两种方法，在看了这方面的综述文章后发现是全新的方向。因为...
同时定位与地图创建综述
3D视觉工坊
08-08 879
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达SLAM包含两个主要任务，定位和建图。这是移动机器人自主完成作业任务需要解决的基本问题，特别是在未知环境的情况下，移动机器人既要确定...
使用RPA通过GPT大模型AI Agent自动执行业务流程任务企业级应用开发实战：Part 11 模拟真实环境运行
AI天才研究院
11-18 76
1.背景介绍 在《使用RPA通过GPT大模型AI Agent自动执行业务流程任务企业级应用开发实战：Part 9-10 GPT-2模型部署及算法原理解析》一文中，我们讲述了如何使用GPT-2模型部署到本地或云端并实现基于搜索引擎的自动化搜索功能。我们知道，模糊搜索和自动补全功能能够极大的提升用户体验，有效降低用户的输入成本，所以，我们要将其集成到业务流
Paper reading: Realtime Multi-person 2D Pose estimation using Part Affinity Fields(1)
yengjie2200的博客
03-29 7636
本论文有提供代码https://github.com/CMU-Perceptual-Computing-Lab/caffe_rtpose ，可运行。 对文章的理解：
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 1250
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
UOS AI 1.6 版本升级，如何实现精准搜索，效率翻倍？
vickynesss的博客
11-01 377
通过直接接入互联网的实时数据流，搜索结果变得多样化，不仅限于文字总结，还包括思维导图、事件与人物的综合概述，以及图片、视频、音频等多种形式，显著提高了回答的准确性和全面性。全局搜索全新搭载端侧大模型：支持离线自然语言搜索，无论身在何处，即使没有网络，只需通过快捷键“Shift+space(空格键）”唤醒全局搜索，都能轻松找到所需文件。：对于日常积累的海量截图，只需借助全局搜索功能，简要描述图片内的文字信息，便能迅速锁定并检索到所需图片。：重要信息直接添加到知识库，方便日后查阅，让全局搜索成为你的第二大脑。
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 1953
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
如何在 AI 时代打造你的核心竞争力？
最新发布
玉树芝兰
11-01 226
（注：本文为小报童精选文章。已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费）焦虑在《AI 研究已摘得诺奖桂冠，普通科研工作者将何去何从？》一文中我谈过自己对目前 AI 技术浪潮对大众影响的体会——未来已来，只是分布不均。很多人在还没有意识到 AI 带来的变革潜能时，觉得与自己无关，日子该怎么过怎么过，倒也轻松。而一旦突然意识到 AI 的重要性，就会变得焦虑万分。这种焦虑，就是挣扎与思考在外...
大模型系列——AlphaZero/强化学习/MCTS
hang on it more longer
10-29 1230
AlphaGo Zero无需任何人类历史棋谱，仅使用深度强化学习，从零开始训练三天的成就已远远超过了人类数千年积累的。
AI产品经理实战手册：策略、开发与商业化指南
清图出版
10-31 539
通过《AI产品经理手册》，将可以了解不同类型的AI，如何将AI整合到产品或业务中，以及支持创建AI产品或将AI集成到现有产品所需的基础设施。熟悉实践管理AI产品开发流程、评估和优化AI模型，以及应对与AI产品相关的复杂伦理和法律问题等相关知识。通过案例研究和学习，在快速发展的AI和机器学习领域保持领先地位。通过阅读本书，读者将能够从产品角度全面了解AI领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值