IP-Adapter: Text Compatible Image Prompt Adapter forText-to-Image Diffusion Models——【论文笔记】

最新推荐文章于 2025-03-11 21:51:52 发布
最新推荐文章于 2025-03-11 21:51:52 发布
阅读量1.5k 收藏 24
点赞数 19
分类专栏： 论文笔记 文章标签： 论文阅读 图像处理 stable diffusion 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45791526/article/details/136316580
版权
本文介绍了一种轻量级的IP-Adapter，通过解耦的交叉注意机制增强文本到图像扩散模型对图像提示的处理能力。IP-Adapter仅需少量参数，性能超越全量微调，适用于多种模型微调和多模态生成，节省计算资源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是腾讯实验室挂在ArXiv上的文章

论文地址：[2308.06721] IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models (arxiv.org)

GitHub地址：

tencent-ailab/IP-Adapter: The image prompt adapter is designed to enable a pretrained text-to-image diffusion model to generate images with image prompt. (github.com) 

一、Introduction

        近年来，大型文本到图像扩散模型展现了强大的生成能力，创造出高保真图像，但生成所需的文本提示往往复杂且工程量大。为了解决这一问题，文本提示的替代方法之一是使用图像提示，因为图像胜过千言万语。现有的直接微调预训练模型的方法虽然有效，但需要大量计算资源，且不兼容其他基础模型、文本提示和结构控制。

最低0.47元/天 解锁文章
【深度学习】IP-Adapter-FaceID，IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion
q742971636的博客
04-01 1777
近年来，大型文本到图像扩散模型的强大能力在创造高保真图像方面取得了令人印象深刻的成果。然而，仅使用文本提示来生成所需图像是非常棘手的，因为这通常涉及复杂的提示工程。文本提示的一个替代方案是图像提示，正如俗话所说：“一幅图胜过千言万语”。尽管现有的直接从预训练模型进行微调的方法有效，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控制不兼容。在本文中，我们提出了IP-Adapter，这是一种有效且轻量级的适配器，用于实现预训练文本到图像扩散模型的图像提示能力。
IP-Adapter:text compatible image prompt adapter for text-to-image diffusion models
liguandong
10-10 1116
Imagen采用T5。上述方法的主要问题在于文本到图像扩散模型的cross-attention，query是可学习的，文本信息是key和value，预训练扩散模型中的cross-attention的key和value的投影权重是经过训练的，以适应文本特征，因此，将图像特征和文本特征合并到cross-attention只能实现图像特征和文本特征的对齐，但有可能错过一些图像特定的信息，最终导致只基于参考图像的粗粒度可控生成。例如，流行的sd模型是基于从冻结的clip文本编码器中提取的文本特征进行条件限定的。
IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
David___yu的博客
04-12 1291
IP-Adapter的工作是非常有意义的，它引入了一个轻量的Adapter网络，仅仅需要额外训练多一倍的交叉注意力层，就可以实现很好的图像提示，而且这一添加还可以在前向时关闭，同时具备泛化能力，对于后续InstantID等工作都有很好的指导作用，也让我们思考可以使用添加额外交叉注意力层的形式来进行更多模态的加入，非常有意义。图像特征通过调制模块中的解耦交叉注意力层加入到预训练文生图模型的UNet中，在原始的SD模型中文本特征是经由CLIP文本编码器，再通过交叉注意力层加入到UNet中的：给定一个查询向量。
可控图像生成 论文解读 IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
qq_50848391的博客
10-20 2508
其实本篇文章的核心思想和简单，就是冻结Stable Diffusion的参数，只对原Stable Diffusion结构中的CrossAttnDownBlock2D做了更改，由原来的一个TransformerBlock变成了两个（不是串联，可以理解为并联再相加），新加入的TransformerBlock与原本的TransformerBlock不同之处在于输入不同，一个是Text Embedding，一个是Image Embedding。
ComfyUI 中你不得不了解的插件，IPAdapter 基础的使用
2401_85688943的博客
02-28 1091
IPAdapter 是一个轻量级的适配器，它的作用是将一张图像或几张图像的风格迁移到另一张图像上去，可以把它当作只有一张图像的 lora。通俗的讲就是垫图。IPAdapter 接受一张图像作为输入，将其编码为Token，并和标准的提示词输入混合作用于图像的生成。
论文解读 IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
vivi_cin的博客
12-18 503
转载：unet中的attn_processor的修改（用于设计新的注意力模块）_attnprocessor-CSDN博客
【可控图像生成系列论文（四）】IP-Adapter 具体是如何训练的？1公式篇
weixin_44212848的博客
06-25 2410
IP-Adapter 的结构和 SD 的差别不是特别大，可以参考【扩散模型（二）】中的结构图进行快速理解，本文则将详细介绍其 IP-Adapter 的训练过程。IP-Adapter 的训练目标和 SD 的原始训练目标一致，但由于仅仅训练投影网络和适配模块（Image prompt 输入的 cross attention），可训练参数量非常轻量化（仅 22M）。↩︎↩︎↩︎↩︎↩︎↩︎↩︎需要注意的是，仅使用图像提示也能很好地指导最终生成，因此也可以在没有文本提示的情况下训练模型。
ControlNet和T2I-Adapter：解决Stable Diffusion中不受控制的力量，实现精确控制的AI图像生成解决方案（Python实现）
与其临渊羡鱼,不如退而结网
09-24 968
通过结合ControlNet和T2I-Adapter，我们可以实现对Stable Diffusion过程中不受控制的力量的控制，从而实现精确的AI图像生成。ControlNet提供了对生成过程的精确控制，而T2I-Adapter将文本描述与图像生成过程相结合，实现了基于文本的图像生成。为了解决这个问题，研究人员提出了一种新的方法，结合了ControlNet和T2I-Adapter两种技术，用于控制Stable Diffusion过程中的不受控制的力量，实现精确控制的AI图像生成解决方案。
【生成模型之十七】IP-Adapter: Text Compatible Image Prompt Adapter forText-to-Image Diffusion Models
最新发布
Jeremy_lf的博客
03-11 861
解决问题：文本prompt工程比较复杂很难描述清楚，尽管现有的image prompt从预训练模型直接微调的方法是有效的，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控件不兼容。因此提出了一种有效且轻量的adapter，用于实现预训练文本到图像扩散模型的图像提示功能。核心思想：IP-Adapter的关键设计是解耦的交叉注意力机制，该机制将文本特征和图像特征的交叉注意力层分开。尽管我们的方法很简单，但只有22M参数的IP适配器可以实现与完全微调的图像提示模型相当甚至更好的性能。
IP-Adapter Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
weixin_44966641的博客
03-13 729
IP-Adapter 通过解耦的、独立的一支交叉注意力层将图像 prompt 引入到文生图模型中，是比较基础的、简单有效的方法。不过说是解耦，但是最后看着还是加起来的呢，只是多过了一个 cross attention 层。当然，只要要结合到 UNet 中去，终归是要么拼接，要么相加的。
IP-Adapter：用于文本到图像扩散模型的文本兼容图像提示适配器
weixin_47748259的博客
01-13 5817
IP-Adapter是图像提示适配器，用于预训练的文本到图像扩散模型，以实现使用图像提示生成图像的能力；IP-Adapter的关键设计是解耦的交叉注意力机制，将交叉注意力层分离为文本特征和图像特征，实现了图像提示的能力。
AIGC- Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Model-IP-Adapter原理解读
hflexxx的博客！喜欢的话点个关注！
05-20 1409
IP-adapter原理
diffusion model(十五) : IP-Adapter技术小结
weixin_40779727的博客
04-05 2378
为了对文生图diffusion model进行特定概念的定制，常用LoRA[1]、textual inversion[2]等inference before fine-tune的方法。此类方法有一个弊端：每一个新的概念都需要重新训练一个权重，比较麻烦。那么，能不能有一个方法inference前无须微调，只需给一张reference image，就能将该图片的概念融入到生成过程中？这就是IP-adapter想要解决的问题。
IP、ID一致性论文阅读
东风的博客
07-29 1120
IP一致性：指的是给定输入的图像，要求保持图像中的ID不变，IP可能是Identity Property，要求能够识别出是同一个身份。目前通过IP的一致性技术，可以用于短视频短剧上，是一个新兴的市场技术。
IP-Adapter：文本兼容图像提示适配器，用于文本到图像扩散模型
源代码杀手的博客
11-28 3069
IP-Adapter这是一种有效且轻量级的适配器，用于实现预训练文本到图像扩散模型的图像提示功能。只有 22M 参数的 IP 适配器可以实现与微调图像提示模型相当甚至更好的性能。IP-Adapter 不仅可以推广到从同一基本模型微调的其他自定义模型，还可以推广到使用现有可控工具的可控生成。此外，图像提示还可以与文本提示配合使用，以完成多模态图像生成。
Stable Diffusion基础：ControlNet之图像提示（垫图）
程序员，AI探索者
09-18 1629
本文给大家分享 Stable Diffusion 的基础能力：ControlNet 之图片提示。这篇故事的主角是 IP-Adapter，它的全称是 Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models，翻译成中文就是：用于文本到图像扩散模型的文本兼容图像提示适配器，名字很长很拗口，我们只要记住四个字就行了：图像提示，如果还觉得长，那就两个字：垫图。记不住也没关系，下面我会带大家一步步体会它的图片生成能力。
如何在comfyUI 下，如何手工离线安装IPAdapter插件呢？
wangangls163it的博客
11-03 2681
很多在Stable diffusion上用过IPADapter的用户，都希望能在comfyUI上继续使和IPAdapter。那么如何在comfyUI 下，手工如何安装IPAdapter插件呢？因为国内绝大部分地方都不能自动顺畅的访问外网，所以我这里重点讲的是如何手工离线安装。你需要花18个小时按部就班的下载，下载好以后，把相应的文件放置 到指定的目录下面。
AIGC 008-IP-Adapter文本兼容图像提示适配器用于文本到图像扩散模型
小熊哥哥的博客
05-27 840
AIGC 008-IP-Adapter文本兼容图像提示适配器用于文本到图像扩散模型！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是浮夸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值