本文是LLM系列文章,针对《Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models》的翻译。
摘要
文本到图像模型会遇到安全问题,包括与版权和不安全工作(NSFW)内容相关的问题。尽管已经提出了几种方法来从扩散模型中删除不恰当的概念,但它们往往表现出不完全的删除,消耗大量的计算资源,并无意中损害了生成能力。在这项工作中,我们引入了可靠高效的概念擦除(RECE),这是一种在3秒内修改模型而不需要额外微调的新方法。具体来说,RECE有效地利用封闭形式解决方案来推导新的目标嵌入,这些嵌入能够在未学习的模型中重新生成被擦除的概念。为了减轻派生嵌入可能代表的不适当内容,RECE进一步将其与交叉注意力层中的无害概念对齐。新表示嵌入的推导和擦除是迭代进行的,以彻底擦除不恰当的概念。此外,为了保持模型的生成能力,RECE在推导过程中引入了一个额外的正则化项,从而最大限度地减少了擦除过程中对无关概念的影响。上述所有过程都是封闭的,保证在3秒内高效擦除。与以前的方法相比,我们的方法实现了更高效、更彻底的擦除,对原始生成能力的损害很小,并且对红队工具表现出更强的鲁棒性。代码可在以下网址https://gi