The Frontier of Data Erasure: Machine Unlearning for Large Language Models

本文是LLM系列文章，针对《The Frontier of Data Erasure: Machine Unlearning for Large Language Models》的翻译。

摘要

大型语言模型（LLM）是人工智能进步的基础，有助于预测文本生成等应用。尽管如此，它们可能会从其庞大的数据集中记忆和传播敏感、有偏见或受版权保护的信息，从而带来风险。机器遗忘是缓解这些问题的前沿解决方案，为LLM提供了选择性丢弃某些数据的技术。本文回顾了LLM机器遗忘的最新进展，介绍了有针对性地遗忘信息的方法，以解决隐私、道德和法律挑战，而无需进行全面的模型再培训。它将现有研究分为非结构化/文本数据和结构化/分类数据，展示了这些方法在去除特定数据的同时保持模型有效性的有效性。该分析强调了机器遗忘的实用性，还指出了在保持模型完整性、避免过度或不足的数据删除以及确保一致输出方面的障碍，强调了机器忘记在推进负责任、合乎道德的人工智能方面的作用。

1 引言

2 从遗忘的结构化数据到非结构化数据：思想与直觉

3 结构化数据的遗忘

4 非结构化数据的遗忘

5 重新审视和评估

6 对LLM遗忘的几点见解

7 总结

对LLM中遗忘现象的深入分析凸显了问题的复杂性。遗忘结构化数据旨在提高模型的准确性和减少偏差，而遗忘非结构化数据则旨在从模型的知识库中删除特定的、往往有问题的数据。这些论文回顾了目前在这两个领域的新方法和令人鼓舞的结果。然而，挑战依然存在，尤