Digital Forgetting in Large Language Models: A Survey of Unlearning Methods

已于 2024-07-21 10:05:55 修改
阅读量352 收藏
点赞数 3
分类专栏： Survey Paper LLM Daily Unlearning 文章标签： 语言模型 人工智能 自然语言处理
于 2024-07-20 23:50:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/140579871
版权
LLM Daily 同时被 3 个专栏收录
785 篇文章 6 订阅 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
Survey Paper
227 篇文章 7 订阅 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
Unlearning
9 篇文章 0 订阅
订阅专栏

本文是LLM系列文章，针对《Digital Forgetting in Large Language Models: A Survey of Unlearning Methods》的翻译。

大型语言模型中的数字遗忘：学习方法综述

1 引言

2 大型语言模型的背景

3 数字遗忘

4 LLM中的数字遗忘方法

5 LLM学习中的遗忘现象调查

6 LLMs中的遗忘评估

7 挑战和潜在的解决方案

8 结论

本文调查了LLM中关于遗忘学习的最新进展。我们首先介绍了LLMs的背景。然后，我们回顾了数字遗忘的动机、类型和要求。接下来，我们描述了LLM中数字遗忘方法使用的主要方法。之后，我们将学习方法分为四类：全局权重修改、局部权重修改、架构修改和输入/输出修改，对文献进行了调查。在描述了文献之后，我们描述了所提出的方法的评估方式：使用哪些数据集；LLM模型正在应用于该领域；用于衡量遗忘的指标和攻击；用于衡量遗忘后保留任务的指标；以及遗忘方法的运行时间。
最后但并非最不重要的一点是，我们已经确定了当前技术水平中的许多挑战。可以得出结

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
Towards Efficient and Effective Unlearning of Large Language Models for Recommendation
c_cpp_csharp的专栏
07-02 62
大型语言模型（LLM）的显著进步带来了一个很有前途的研究方向，即利用LLM作为推荐器（LLMRec）。LLMRec的功效源于LLM固有的开放世界知识和推理能力。LLMRec通过基于用户交互数据的指令调优来获得推荐能力。然而，为了保护用户隐私和优化效用，LLMRec故意忘记特定的用户数据也是至关重要的，这通常被称为建议遗忘。在LLM时代，建议遗忘给LLMRec带来了低效率和无效性方面的新挑战。现有的遗忘方法需要更新LLMRec中的数十亿个参数，这既昂贵又耗时。此外，在遗忘过程中，它们总是影响模型的实用性。
Machine Unlearning: A Survey
c_cpp_csharp的专栏
07-14 772
机器学习已经引起了广泛的关注，并发展成为一种使能技术，用于广泛的高度成功的应用，如智能计算机视觉、语音识别、医疗诊断等。然而，由于隐私、可用性和/或被遗忘权，一些特定样本的信息需要从称为机器遗忘的模型中删除，这就产生了一种特殊的需求。这项新兴技术因其创新性和实用性而引起了学术界和工业界的极大兴趣。与此同时，这个雄心勃勃的问题导致了许多旨在应对其挑战的研究工作。据我们所知，没有任何研究分析过这一复杂的主题，也没有比较过现有的遗忘解决方案在不同场景下的可行性。因此，通过这项调查，我们旨在了解遗忘技术的关键概念。
A Comprehensive Study of Knowledge Editing for Large Language Models
qq_53795212的博客
07-25 940
大型语言模型（LLMs）在理解和生成与人类交流密切相关的文本方面表现出了非凡的能力。然而，一个主要的限制在于训练期间的大量计算需求，这是由于它们的广泛参数化而产生的。世界的动态性质进一步加剧了这一挑战，需要经常更新 LLMs 以纠正过时的信息或整合新知识，从而确保其持续的相关性。请注意，许多应用程序需要在训练后不断调整模型，以解决缺陷或不良行为。人们对高效、轻量级的动态模型修改方法越来越感兴趣。
Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models
c_cpp_csharp的专栏
06-21 71
随着大型语言模型（LLM）的快速发展，我们见证了ChatGPT、LLaMa和Gemini等主要LLM产品之间的激烈竞争。然而，训练语料库的各种问题（如隐私泄露和侵犯版权）仍然没有得到充分的研究。例如，《泰晤士报》起诉OpenAI和微软使用其数百万篇文章进行训练侵犯了其版权。从LLM从业者的角度来看，处理此类非故意侵犯隐私的行为可能具有挑战性。先前的工作解决了使用梯度信息的LLM的“遗忘”问题，但它们大多引入了大量的开销，如数据预处理或缺乏稳健性。
Eraser: Jailbreaking Defense in Large Language Models via Unlearning Harmful Knowledge
c_cpp_csharp的专栏
09-05 45
越狱攻击可以使大型语言模型 （LLM） 绕过保护措施并生成有害内容。现有的越狱防御方法未能解决模型中存在有害知识的基本问题，从而导致 LLM 面临潜在的越狱风险。在本文中，我们提出了一种名为 Eraser 的新型防御方法，主要包括三个目标：忘掉有害知识、保留常识和保持安全对齐。直觉是，如果 LLM 忘记了回答有害问题所需的特定知识，它将不再有能力回答有害问题。Erase 的训练实际上并不需要模型自身的有害知识，它可以从忘记与有害查询相关的一般答案中受益，这意味着它不需要红队的帮助。
Offset Unlearning for Large Language Models
c_cpp_csharp的专栏
09-13 146
尽管大型语言模型 （LLM） 具有从其训练语料库中获取知识的强大能力，但对语料库中敏感信息的记忆（例如受版权保护、有害和私人内容）导致了道德和法律问题。为了应对这些挑战，遗忘已成为受有问题训练数据影响的 LLM 的潜在补救措施。但是，由于需要访问模型内部权重，以前的遗忘技术要么不适用于黑盒 LLM，要么通过保留敏感数据进行推理时间校正而违反了数据保护原则。我们提出了 δ-UNLEARNING，一个用于黑盒 LLM 的偏移遗忘学习框架。
RETHINKING MACHINE UNLEARNING FOR LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
05-16 161
我们在大型语言模型（LLM）领域中探索机器遗忘（MU），称为LLM遗忘。这一举措旨在消除不希望的数据影响（如敏感或非法信息）和相关的模型能力，同时保持基本知识生成的完整性，不影响因果无关的信息。我们设想LLM学习将成为LLM生命周期管理的一个关键要素，有可能成为开发生成性人工智能的重要基础，该人工智能不仅安全、可靠，而且资源高效，无需全面再训练。我们从概念表述、方法、指标和应用的角度来浏览LLM中的遗忘景观。
Towards Safer Large Language Models through Machine Unlearning
c_cpp_csharp的专栏
04-19 61
大型语言模型（LLM）的快速发展已经证明了其在各个领域的巨大潜力，这归功于其广泛的预训练知识和非凡的可推广性。然而，当遇到有问题的提示时，LLM在生成有害内容方面经常遇到挑战。为了解决这个问题，现有的工作试图实现一种基于梯度上升的方法，以防止LLM产生有害的输出。虽然这些方法可能是有效的，但它们经常影响模型效用对正常提示的响应。为了解决这一差距，我们引入了选择性知识否定学习（SKU），这是一种新的LLM遗忘框架，旨在消除有害知识，同时在正常提示下保持效用。
FedRecovery: Differentially Private Machine Unlearning for Federated Learning Frameworks
oracle0101的博客
05-31 1065
联邦学习，差分隐私，机器遗忘
深度学习：卷积神经网络中的im2col
最新发布
m0_49786943的博客
10-31 758
第二行为 2，3，4，6，7，8，10，11，12，18，19，20，22，23，24，26，27，28，34，35，36，38，39，40，42，43，44 即第二次卷积运算所涉及到的输入数据。第一行为 1，2，3，5，6，7，9，10，11，17，18，19，21，22，23，25，26，27，33，34，35，37，38，39，41，42，43 即第一次卷积运算所涉及到的输入数据。在传统的卷积操作中，卷积核（滤波器）在输入图像上滑动，逐个计算每个位置的卷积结果。若是批大小为10，即保存10倍的数据。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 932
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
数据预处理：为 AI 准备 “优质食材” 的重要步骤
JiexianYao的博客
10-31 522
AI模型数据处理
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 1805
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型系列——AlphaZero/强化学习/MCTS
hang on it more longer
10-29 1061
AlphaGo Zero无需任何人类历史棋谱，仅使用深度强化学习，从零开始训练三天的成就已远远超过了人类数千年积累的。
AI产品经理实战手册：策略、开发与商业化指南
清图出版
10-31 346
通过《AI产品经理手册》，将可以了解不同类型的AI，如何将AI整合到产品或业务中，以及支持创建AI产品或将AI集成到现有产品所需的基础设施。熟悉实践管理AI产品开发流程、评估和优化AI模型，以及应对与AI产品相关的复杂伦理和法律问题等相关知识。通过案例研究和学习，在快速发展的AI和机器学习领域保持领先地位。通过阅读本书，读者将能够从产品角度全面了解AI领域。
【论文阅读】Persistent Homology Based Generative Adversarial Network
开心星人的博客
10-26 1432
现有的生成模型不能充分捕捉图像的全局结构信息，使得图像生成过程中难以协调全局结构特征和局部细节特征。该文提出了一种基于持续同调的生成对抗网络（PHGAN）。本文基于持久同调方法设计了拓扑特征变换算法，并通过全连通层模块和自注意模块将拓扑特征集成到遗传神经网络的鉴别器中，使PHGAN具有良好的全局结构信息捕获能力，提高了模型的生成性能。在CIFAR10数据集和STL10数据集上对PHGAN进行了实验评估，并与几种经典的生成式对抗网络模型进行了比较。实验结果表明我们的PHGAN模型具有较好的图像生成能力。
一篇文章入门梅尔频率倒谱系数
julac的博客
10-29 910
计算Mel刻度滤波器组Filter Banks由语音信号的性质和人类对这些信号的感知所驱动的；计算MFCC由一些机器学习算法的限制所驱动的计算量：MFCC是在FBank的基础上进行的特征区分度：FBank特征相关性较高（相邻滤波器组有重叠），MFCC具有更好的判别度信息量：Filter Banks包含比MFCC更多的信息如果机器学习算法不易受高度相关输入的影响，则使用Mel刻度滤波器组。如果机器学习算法易受相关输入的影响，则使用MFCC。
浅谈AI大模型的数据特点和应用问题
隔窗听雨眠的博客
10-26 983
AI大模型的训练、推理及应用落地都需要大量的数据,其数据具有参数和数据量大、质量要求高、行业垂直属性强、资源消耗大等特点,由此带来的个人隐私泄露、数据中毒、数据篡改等数据安全风险已成为业界必须应对的重要议题。目前大模型的规模化应用还存在成本、性能、安全和商业变现等问题,其中的数据要素价值有待进一步挖掘。
TTS（Text-to-Speech）和LLM（Large Language Model） 介绍
nbspzs的专栏
10-28 248
LLM 是一种使用深度学习训练的大型语言模型，能够生成、理解和处理人类语言，通常用于对话、文本生成、语言翻译、问答等复杂的语言任务。TTS 是一种将文本转化为语音的技术，主要用于将书面文字转换成自然、流畅的语音，模拟人类的声音输出。LLM：一种大型的自然语言生成与理解模型，用于回答问题、对话、生成内容等文本处理任务。主要功能：专注于“理解和生成”语言，支持对话、信息检索、总结和推理等任务。主要功能：专注于“文本到语音”转换，模拟发音、语调、情感等。应用场景：聊天机器人、内容创作、编程助手、翻译、文本分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值