【机器遗忘之Selective amnesia算法】2024年NIPS顶刊论文：A continual learning approach to forgetting in deep

1 介绍

年份：2024

期刊： Advances in Neural Information Processing Systems

Heng A, Soh H. Selective amnesia: A continual learning approach to forgetting in deep generative models[J]. Advances in Neural Information Processing Systems, 2024, 36.

本文提出了一种名为“选择性遗忘”（Selective Amnesia）的技术，它基于持续学习理念，通过结合弹性权重固化（Elastic Weight Consolidation, EWC）和生成性重放（Generative Replay, GR）方法，并引入替代目标分布，实现对预训练深度生成模型中特定概念的选择性遗忘，允许用户指定如何遗忘特定概念。

2 创新点

1. 选择性遗忘概念：提出了一种新技术，允许用户指定预训练深度生成模型中需要遗忘的概念，实现对特定概念的控制性遗忘。
2. 持续学习视角：将选择性遗忘问题从持续学习的角度进行框架化，与传统持续学习防止遗忘的目标相反，本文的方法旨在实现有目的的遗忘。
3. 统一的目标函数：提出了一个统一的目标函数，结合了EWC和GR方法，使得模型能够在不忘记得数据的同时忘记特定数据。
4. 替代目标分布：引入了替代目标分布的概念，通过优化这个替代分布来降低对遗忘数据的对数似然，从而实现遗忘。
5. 条件变分似然模型的应用：将方法应用于条件变分似然模型，包括变分自编码器（VAEs）和去噪扩散概率模型（DDPMs），展示了方法的通用性。
6. 用户定义的遗忘重映射：允许用户定义如何将被遗忘的概念映射到更合适的概念上，增加了遗忘过程的灵活性和控制性。
7. 实验验证：在多个数据集和模型上进行了广泛的实验，验证了方法的有效性，包括在MNIST、CIFAR10、STL10数据集上的离散类别遗忘，以及在文本到图像模型中的名人和不雅内容的遗忘。
8. 代码公开：提供了公开的代码，使得研究社区可以复现和进一步研究提出的方法。

3 相关研究

在“1 Introduction”部分，文章概述了与选择性遗忘（Selective Amnesia）相关的几个研究领域，并提到了一些具体的文献。以下是各个研究点的总结以及对应的文献：

1. Deep Generative Models and Misuse Concerns:
   • 近年来，大规模文本到图像模型取得了显著进展，但同时也引发了对这些模型可能被滥用来生成有害、歧视性和不适当内容的担忧。
   • [1] Patrick Schramowski, Manuel Brack, Björn Deiseroth, and Kristian Kersting. Safe latent diffusion: Mitigating inappropriate degeneration in diffusion models. arXiv preprint arXiv:2211.05105, 2022.
   • [2] Yisroel Mirsky and Wenke Lee. The creation and detection of deepfakes: A survey. ACM Computing Surveys (CSUR), 54(1):1–41, 2021.
   • [3] Luisa Verdoliva. Media forensics and deepfakes: an overview. IEEE Journal of Selected Topics in Signal Processing, 14(5):910–932, 2020.
2. Data Forgetting:
   • 数据遗忘领域已经提出了多种方法，包括统计查询学习问题、数据集分片方法、基于模型权重的信息不可访问性定义的遗忘方法等。
   • [4] Yinzhi Cao and Junfeng Yang. Towards making systems forget with machine unlearning. In 2015 IEEE symposium on security and privacy, pages 463–480. IEEE, 2015.
   • [5] Lucas Bourtoule, Varun Chandrasekaran, Christopher A Choquette-Choo, Hengrui Jia, Adelin Travers, Baiwu Zhang, David Lie, and Nicolas Papernot. Machine unlearning. In 2021 IEEE Symposium on Security and Privacy (SP), pages 141–159. IEEE, 2021.
   • [6] Aditya Golatkar, Alessandro Achille, and Stefano Soatto. Eternal sunshine of the spotless net: Selective forgetting in deep networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 9304–9312, 2020.
   • [7] Quoc Phong Nguyen, Bryan Kian Hsiang Low, and Patrick Jaillet. Variational bayesian unlearning. Advances in Neural Information Processing Systems, 33:16025–16036, 2020.
   • [22] Yinjun Wu, Edgar Dobriban, and Susan Davidson. Deltagrad: Rapid retraining of machine learning models. In International Conference on Machine Learning, pages 10355–10366. PMLR, 2020.
3. Concept Erasure in Text-to-Image Diffusion Models:
   • 在文本到图像扩散模型的背景下，已有研究致力于概念擦除，这些方法通常利用这些模型的特定设计特征。
   • [1] Patrick Schramowski, Manuel Brack, Björn Deiseroth, and Kristian Kersting. Safe latent diffusion: Mitigating inappropriate degeneration in diffusion models. arXiv preprint arXiv:2211.05105, 2022.
   • [8] Rohit Gandikota, Joanna Materzynska, Jaden Fiotto-Kaufman, and David Bau. Erasing concepts from diffusion models. arXiv preprint arXiv:2303.07345, 2023.
   • [9] Eric Zhang, Kai Wang, Xingqian Xu, Zhangyang Wang, and Humphrey Shi. Forget-me-not: Learning to forget in text-to-image diffusion models. arXiv preprint arXiv:2303.17591, 2023.
4. Continual Learning:
   • 持续学习领域主要关注在深度神经网络中顺序学习任务，同时避免灾难性遗忘。提出了多种方法，包括正则化方法、架构修改和数据重放。
   • [14] James Kirkpatrick, Razvan Pascanu, Neil Rabinowitz, Joel Veness, Guillaume Desjardins, Andrei A Rusu, Kieran Milan, John Quan, Tiago Ramalho, Agnieszka Grabska-Barwinska, et al. Overcoming catastrophic forgetting in neural networks. Proceedings of the national academy of sciences, 114(13):3521–3526, 2017.
   • [15] Friedemann Zenke, Ben Poole, and Surya Ganguli. Continual learning through synaptic intelligence. In International conference on machine learning, pages 3987–3995. PMLR, 2017.
   • [16] Andrei A Rusu, Neil C Rabinowitz, Guillaume Desjardins, Hubert Soyer, James Kirkpatrick, Koray Kavukcuoglu, Razvan Pascanu, and Raia Hadsell. Progressive neural networks. arXiv preprint arXiv:1606.04671, 2016.
   • [17] Timothy J Draelos, Nadine E Miner, Christopher C Lamb, Jonathan A Cox, Craig M Vineyard, Kristofor D Carlson, William M Severa, Conrad D James, and James B Aimone. Neurogenesis deep learning: Extending deep networks to accommodate new classes. In 2017 international joint conference on neural networks (IJCNN), pages 526–533. IEEE, 2017.
   • [18] Hanul Shin, Jung Kwon Lee, Jaehong Kim, and Jiwon Kim. Continual learning with deep generative replay. Advances in neural information processing systems, 30, 2017.
5. Editing and Unlearning in Generative Models:
   • 一些研究调查了生成模型的事后编辑和重训练，包括对GANs和归一化流的数据编辑和遗忘。
   • [23] Zhifeng Kong and Kamalika Chaudhuri. Data redaction from pre-trained gans. In 2023 IEEE Conference on Secure and Trustworthy Machine Learning (SaTML), pages 638–677. IEEE, 2023.
   • [24] Shimon Malnick, Shai Avidan, and Ohad Fried. Taming a generative model. arXiv preprint arXiv:2211.16488, 2022.
   • [25] Saemi Moon, Seunghyuk Cho, and Dongwoo Kim. Feature unlearning for generative models via implicit feedback. arXiv preprint arXiv:2303.05699, 2023.
   • [26] David Bau, Steven Liu, Tongzhou Wang, Jun-Yan Zhu, and Antonio Torralba. Rewriting a deep generative model. In Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part I 16, pages 351–369. Springer, 2020.

4 算法

4.1 算法原理

1. 问题定义：
   • 算法的目标是对于一个预训练的条件生成模型，使其能够忘记如何生成特定的数据（Df），同时记住如何生成其他数据（Dr）。
2. 贝叶斯持续学习视角：
   • 从贝叶斯的角度出发，通过调整模型参数的后验分布，使得模型在记住（Dr）的同时忘记（Df）。
3. 弹性权重固化（Elastic Weight Consolidation, EWC）：
   • EWC通过引入一个二次惩罚项来保护与旧任务（Df）相关的权重，从而减缓对这些权重的更新，以保留旧任务的知识。
4. 生成性重放（Generative Replay, GR）：
   • GR利用生成模型来重现旧任务的数据，这些数据被用来在训练新任务时增强当前任务的数据，以减少对旧任务的遗忘。
5. 统一目标函数：
   • 将EWC和GR的方法统一到一个目标函数中，通过引入一个额外的似然项（对应于Dr的数据）来优化，同时保持对Dr的后验优化不变。
6. 替代目标分布：
   • 由于直接最小化对数似然或证据下界（ELBO）可能会导致问题，算法提出了一个替代目标，即最大化一个替代分布的对数似然，这个替代分布与要忘记的类的分布不同。
7. 优化策略：
   • 通过最大化替代分布的对数似然，同时保留EWC中的惩罚项，算法能够降低对Df的对数似然，从而实现遗忘。
8. 实验验证：
   • 算法在多个数据集和模型上进行了实验验证，包括MNIST、CIFAR10、STL10以及文本到图像的扩散模型（如Stable Diffusion）。
9. 代码公开：
   • 算法的代码是公开的，可以通过GitHub访问，以便研究社区可以复现和进一步研究提出的方法。

4.2 算法步骤

1. 定义问题：
   • 考虑一个数据集$D$，它可以被划分为$D_f$（需要忘记的数据）和$D_r$（需要记住的数据）。
2. 贝叶斯持续学习视角：
   • 从贝叶斯的角度出发，通过调整模型参数$\theta$的后验分布，使得模型在记住$D_r$的同时忘记 D f D_f D