ACM MM 2024 | 揭示文生图扩散模型的结构级记忆，提升成员推理攻击成功率

©PaperWeekly 原创 · 作者 | 李乔

单位 | 中国科学院信息工程研究所

大规模文生图扩散模型的发展所带来的风险和安全问题引发了广泛关注。模型开发者可能会滥用未授权的数据来训练扩散模型，这些数据存在被模型记忆的风险，从而可能侵犯公民的隐私权。成员推理攻击（Membership Inference Attack, MIA）方法可以用于判断特定图片是否被用于模型训练。然而，当前针对扩散模型的 MIA 方法都是利用模型像素级的记忆特性。对于规模数以亿级的训练集，模型难以记住所有像素的信息，因而方法性能受限。

本文首次对文生图扩散模型结构级别的记忆进行研究，并提出了一种基于结构相似度的 MIA 方法，在显著提升对大规模训练集的攻击准确率的同时，对于多种图像扰动都具有高鲁棒性。该论文已被 ACM MM 2024 接收。

论文标题：

Unveiling Structural Memorization: Structural Membership Inference Attack for Text-to-Image Diffusion Models

论文链接：

https://arxiv.org/abs/2407.13252

扩散模型的结构记忆研究

此前有相关研究表明，在图像生成的去噪过程中，扩散模型在噪声水平较高时更倾向建模图像的高层次信息（语义、结构等），而在噪声水平较低时更关注图像的细节信息。相应地，在前向扩散过程中，在初期噪声水平较低（t 较小）时，扩散模型会先破坏图像的细节信息，因而图像结构信息会得到保持。如下图所示，在扩散初期，模型更关注于图中帽子部分的细节信息，随后才会逐渐破坏猫毛的结构部分。