论文阅读：Taxonomy of Adversarial Attacks on Text-to-Image Generative Models

最新推荐文章于 2024-09-05 16:53:58 发布

huzimu_

最新推荐文章于 2024-09-05 16:53:58 发布

阅读量603

点赞数 9

分类专栏： AIGC系列文章标签：论文阅读 stable diffusion text-to-image AIGC

本文链接：https://blog.csdn.net/huzimu_/article/details/136701757

版权

AIGC系列专栏收录该内容

7 篇文章 0 订阅

订阅专栏

本文探讨了文本到图像生成模型中的五类对抗攻击，包括字体攻击、比喻攻击、伪装攻击、提示词稀释攻击和中度混淆攻击。在StableDiffusion模型上的实验显示，这些攻击的成功率较高，暗示现有安全机制仍有改进空间。

摘要由CSDN通过智能技术生成

Taxonomy of Adversarial Attacks on Text-to-Image Generative Models

论文链接
文生图模型因为其强大的生成能力而十分流行。，然而，一些揭示了文生图模型的弱点的对抗攻击引起了广泛地关注。这些对抗攻击会使得模型生成一些不安全的内容，比如暴力、血腥和色情等。本文提出了一个文生图模型上的对抗攻击的分类法，将这些对抗攻击分为了5个类别：
Typographic Attacks：扰动输入文本提示词，使得模型生成不准确的内容。
Figurative Attacks：替换敏感词以逃避关键词过滤器。
Camouflage Attacks：通过一些稀有的表达方式，使得模型生成自认为安全，但是对人类来说并不安全的内容
Prompt Dilution Attacks：向提示词中添加无关的内容。
Medium Obfuscation Attacks：通过改变提出的上下文和媒介来诱导模型生成不适宜内容。
作者在Stable Diffusion模型上评估了上面的5种方法，结果如下：
ADVERSARIAL ATTACK REPORT ON STABLE DIFFUSION MODEL
可以看到，这些攻击在Stable Diffusion上的成功率和还是比较高的。这也说明，当前Stable Diffusion上的安全机制尚且不是很严格。需要注意的是，这篇论文里的对抗攻击主要的目的是逃脱安全过滤器，一些生成特定内容或者仅仅是生成和原始输出不一致的内容的攻击方法并没有被这个分类法所囊括。