知识编辑——大语言模型原理探索

最新推荐文章于 2024-11-12 10:35:21 发布
最新推荐文章于 2024-11-12 10:35:21 发布
阅读量1k 收藏 20
点赞数 24
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27590277/article/details/142828447
版权

578a2ec30d23281d403bc915c87d9a8e.png作者：haha alalala

论文：Locating and Editing Factual Associations in GPT
链接：https://arxiv.org/abs/2202.05262

背景

以Transformer为架构的生成大模型，成为了NLP领域的主流，具有媲美人类的对话能力，显示出了卓越的事实生成效果。随之而来的问题是，大模型的工作原理是什么？大模型将这些事实存储在哪里？它是如何利用这些事实的？这篇论文尝试通过“causal intervention”去定位事实的位置，并尝试对事实进行修改。

本文的工作

这篇论文的工作分为两部分：事实定位以及事实修改

  1. 事实定位：通过三次不同的运行，确定不同参数部分对于事实预测的影响贡献。

    1. 纯净运行：不对s，r构成的输入进行修改，并对运行时的hidden states的激活进行记录。

    2. 污染运行：在输入后添加一个噪音，然后收集这个运行时hidden states的激活情况。

    3. 污染后恢复运行：同样在输入后加入一个噪音，该噪音于污染运行时的相同。但是将某些hidden states恢复到纯净时的激活状态。

    4. 将一个事实预测表示为三元组（s,r,o）主体，关系，客体。将s，r表示为一句话作为模型的输入去预测事实o。从而实现对事实的预测。

    5. 模型的内部计算可以看作

    6. 准备工作

    7. 三次运行：纯洁运行，污染运行，污染后恢复运行2a4139f8686b60ea18919fa261ebb477.png

    8. 通过污染后恢复运行即可筛选出对事实影响最大的隐藏状态。

  2. 事实修改

    1. “A mathematical framework for transformer circuits.” 一文中观察到，MLP层被视为两层的key- value记忆。

    2. “Rewriting a deep generative model”这篇论文中，可以通过解决受限的最小二乘法问题，将key-value对插入到记忆中。760264640808d0ab6cdf5c417b8404e8.png

    3. 相关工作

    4. ROME：即参考相关工作2，构造 ，将事实插入到模型中。训练时，对定位到的事实区域进行训练，其他部分冻结。

实验分析

  1. 事实定位

    1. 图a中展示，对于所有的隐藏状态来看，发生强烈的因果影响（causal effects）的位置在主体词的最后一个token的早期位置，和预测前的最后一个token晚期位置。

    2. 对于MLP部分来说，大部分的因果影响发生在最后一个主体词的早期位置。

    3. 对于注意力部分来说，大部分的因果影响发生在最后一个token的晚期位置。

    4. 指标

      Total Effect（TE）：,计算纯净版本和污染版本的量化差别。

      Indirect Effect（IE）：,计算恢复版本和污染版本的量化差别。

      其中分别指在纯净模式，污染模式，和l层第i个token被恢复后预测出事实o第概率。

      Average Indirect Effect (AIE)为上面的平均值，用来衡量不同隐藏状态对于结果的影响大小。

    5. 分析5d4f595c82c19a8b5078bd3d86ac4e16.png注：这里的prompt就是输入。y轴从上到下是对输入补全后句子的token序列。x轴是模型的深度。

    6. 猜想：中间层的mlp接受来自输入的编码，然后生成关于主题词的回忆的输出，然后由中间层的mlp对这些信息进行积累，最后通过高层之以利将总的信息复制到最后一个token。

  2. 事实修改

    1. 数据集：编写了一个错误事实的数据集 ),相对于原来的正确事实 在纯净模式具有更低的得分。

    2. 指标

      Efficacy：编辑后，预测实体的能力（即），判断修改的成功。

      Generalization：对重写后的输入（即将s，r表述为另一句话）后的判断模型是否依旧能够理解。依旧计算。

      Specificity：判断对其他事实是否依旧有效，即 是否依旧为真。也就是说判断编辑事实是否会影响到没有被编辑的事实。

    3. 实验结果44621262aa45b0300a521bdff541dce5.png注：ES为得分，即 的百分比；EM为 的均方差。

    4. 观察上面的图片可知，对于微调方法（FT）和其他知识编辑方法（KE，MEND）在两个模型的实验上，都不能达到很好的综合性能：这些方法在Efficacy(事实修改后的预测能力)和Generalization（输入重写预测能力，也可以理解为语义理解能力）都可以达到不错的成绩，但是Specificity（事实编辑后不影响其他事实的能力）却很差，也就是说这些微调和知识编辑的方法，修改事实是以影响其他事实为代价的。而ROME方法在不同的指标下都表现均衡。

局限性

ROME一次只能编辑单个事实，很难应用于大规模模型。编辑是有方向的入：“The iconic landmark in Seattle is the Space Needle”，“The Space Needle is the iconic landmark in Seattle”为两句话，修改时需要编辑两次。计算模型存储的事实被改变了，模型也能呢猜测新的事实，并且猜测可能是错误的。

这是否也可以看作一种微调？

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

5386aea3da433883ccb11a75bbd07320.png

id：DLNLPer，记得备注呦

zenRRan
关注
大语言模型原理与工程实践：自我一致性提示
AI天才研究院
07-17 947
大语言模型原理与工程实践：自我一致性提示 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大语言模型，自我一致性，提示工程，自动编程，强化学习 1.背景介绍
LLMs之ROME：ROME的简介(定位和编辑GPT中的事实关联—翻译与解读)、原理探讨、GitHub的两种方法实现之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-22 2362
​ LLMs之ROME：ROME的简介(《Locating and Editing Factual Associations in GPT定位和编辑GPT中的事实关联》翻译与解读)、原理探讨、GitHub的两种方法实现之详细攻略 目录 一、《Locating and Editing Factual Associations in GPT》—翻译与解读 二、《Locating and Editing Factual Associations in GPT》博客文
论文导读 | 漫谈编辑问题
weixin_48167662的博客
03-25 876
本文围绕深度学习模型的编辑，介绍了针对一般分类器、图像生成模型、语言模型的编辑问题及一些相关方法，还对现有工作的优劣、一些可能的未来研究方向给出了简单的讨论。
多模态视觉大语言模型——LLaVA
机器学习，深度学习
08-01 980
本文首次尝试使用GPT-4生成多模态指令数据，并基于这些数据训练了LLaVA(Large Language and Vision Assistant)模型，这是一种结合视觉编码器和语言模型的多模态大模型，用于视觉和语言理解。实验表明，LLaVA在多模态任务上表现优异，与GPT-4结合后实现了92.53%最佳准确率。研究还提供了公开数据、模型和代码，以促进视觉指令跟随领域的研究。
知识编辑——祛除模型毒性的新方法
zenRRan的博客
10-10 641
作者：bhn（已授权）知识编辑——大语言模型原理探索论文:Detoxifying Large Language Models via Knowledge Editing链接：https://arxiv.org/abs/2403.14472背景尽管大语言模型取得了显著的进步，但是它也存在一些问题，由于数据来自互联网，并且数据量很大，不能进行完全的筛选，以至于模型会输出大量有毒内容。尽管有大量工作如S...
大模型扫盲系列——初识大模型
HUANGXIN9898的博客
06-15 1444
大模型是指具有数千万甚至数亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文讨论的大模型将以平时指向比较多的大语言模型为例来进行相关介绍。
从零开始构建大型语言模型——理解大型语言模型
2401_85375151的博客
10-08 1277
大型语言模型（LLM）是一种设计用来理解、生成和回应类似人类文本的神经网络。这些模型是深度神经网络，通过大规模的文本数据进行训练，有时训练数据覆盖了互联网上公开可用的绝大部分文本。“大型语言模型”中的“大型”既指模型在参数规模上的庞大，也指其训练所使用的巨大数据集。这样的模型通常包含数百亿甚至数千亿个参数，这些参数是网络中的可调权重，在训练过程中被优化，用于预测序列中的下一个词。通过预测下一个词来训练模型是合理的，因为这利用了语言的内在顺序特性，帮助模型学习文本中的上下文、结构和关系。
从零开始构建大语言模型（MEAP）
龙哥盟
04-29 1829
LLM，即大型语言模型，是一种设计用于理解、生成和回应类似人类文本的神经网络。这些模型是在大量文本数据上训练的深度神经网络，有时包括互联网上整个可公开获取文本的大部分内容。"大型"语言模型中的"大"既指模型在参数方面的规模，也指其所训练的庞大数据集。这样的模型通常具有数百亿甚至数百亿个参数，这些参数是网络中的可调权重，在训练过程中进行优化，以预测序列中的下一个词。下一个词的预测是合理的，因为它利用了语言固有的顺序性质来训练模型，使其理解文本中的上下文、结构和关系。
原创 | 大模型扫盲系列——初识大模型
yXIAOyu_的博客
07-18 961
作为相关从业人员，可以开发更高效，更稳定的训练算法，不断探索大模型的上限，作为普通人，我们更需要拥抱这个技术，至少在日常工作和生活中也能享受到其带来的巨大便利。**5）公司业务定制化大模型：**大模型具有通用性能力，但是在很多零样本的场景的表现依然比不上那个领域正在使用的产品，例如在某些垂直领域，包括工业领域，医药领域，管理领域等场景下进行专业问题，研究型问题的使用依然需要特定场景的数据进行微调，这种定制化的服务也能给企业带来巨大的效率提升和节省成本的收益，属于比较有前景的业务。
大语言模型原理基础与前沿：涌现能力
AI天才研究院
08-21 647
大语言模型（Large Language Models，LLMs）作为人工智能和自然语言处理领域的重大突破，在近年来引起了广泛关注。这些模型不仅在各种语言任务中展现出卓越的性能，还表现出了一种被称为"涌现能力"（Emergent Abilities）的令人惊叹的特性。涌现能力指的是模型在达到一定规模后，突然表现出的未经专门训练的新能力，这一现象对我们理解人工智能的本质和潜力具有深远的影响。本文将深入探讨大语言模型的原理基础，重点关注其涌现能力的形成机制、表现形式以及对未来AI发展的启示。
大语言模型原理与应用实践：基于监督学习进行微调 Supervised Learning & Fine-Tuning
AI天才研究院
06-25 441
近年来，随着深度学习技术的快速发展，大规模语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processing, NLP)领域取得了巨大的突破。这些大语言模型通过在海量无标签文本数据上进行预训练，学习到了丰富的语言知识和常识，可以通过少量的有标签样本在下游任务上进行微调(Fine-Tuning)，获得优异的性能。其中最具代表性的大模型包括OpenAI的GPT系列模型、Google的BERT、T5等。
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 996
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 534
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 3369
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 629
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 408
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 959
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
人工智能是这样理解“情绪”的
最新发布
JellyAI的博客
11-12 844
在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。
《Hadoop开发者》第三期——探索Hadoop技术
"《Hadoop开发者》第三期是一本专注于Hadoop技术的出版物，由易剑、Barry等多位编辑于2010年6月20日发布。该期刊旨在提供高质量的Hadoop咨询，帮助读者学习和理解Hadoop在实际应用中的使用。本期内容包括Hadoop中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值