2024最新controlnet详解：T2i-Adapter 的使用方法

已于 2024-06-27 16:39:08 修改
阅读量2.5k 收藏 6
点赞数 9
文章标签： AIGC stable diffusion AI作画
于 2024-06-27 15:10:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yu91an/article/details/140014147
版权

知乎同步更新：2024最新controlnet详解：T2i-Adapter 的使用方法 - 知乎 (zhihu.com)

T2I-Adapter 是一种轻量级模型，旨在为预训练的 T2I 模型（特别是稳定扩散 (SD) 模型）提供额外指导。它从条件图（例如草图或彩色图）中提取指导特征，并将这些特征注入 SD 模型以指导其图像生成过程。T2I-Adapter 不会微调或修改预训练模型；相反，它会学习将 SD 模型的内部知识与外部控制信号对齐。

下面是T2I-Adapter算法发挥作用的示意图：

T2I-Adapter算法的详细结构：

T2I 适配器的优点：

1. 它非常小，因为其基本版本有 7700 万个参数。

2. 它很灵活，因为我们可以训练不同的条件模型并且它们可以同时使用。

3. 无需对整个稳定扩散模型进行微调，这在计算上非常昂贵，并且对于大

最低0.47元/天 解锁文章
ChinaZ.AI
关注
ControlNet和T2I-Adapter：解决Stable Diffusion中不受控制的力量，实现精确控制的AI图像生成解决方案（Python实现）
与其临渊羡鱼,不如退而结网
09-24 959
通过结合ControlNet和T2I-Adapter，我们可以实现对Stable Diffusion过程中不受控制的力量的控制，从而实现精确的AI图像生成。ControlNet提供了对生成过程的精确控制，而T2I-Adapter将文本描述与图像生成过程相结合，实现了基于文本的图像生成。为了解决这个问题，研究人员提出了一种新的方法，结合了ControlNet和T2I-Adapter两种技术，用于控制Stable Diffusion过程中的不受控制的力量，实现精确控制的AI图像生成解决方案。
ControlNet 和 T2I-Adapter，控制Stable Diffusion的不受控制的力量,AI 图像生成精确控制的破冰解决方案(教程含免安装使用方式)
iCloudEnd的博客
02-25 6969
人工智能艺术社区的兴奋在最近几天达到顶峰，让我想起了去年 Stable Diffusion 的首次发布。本次重点介绍基于Stable Diffusion 1.5的轻量级预训练模型ControlNet，可以检测输入图像中的边缘、深度图或姿态骨架，结合文字提示，精准指导Stable Diffusion中图像的生成.下图是ControlNet论文中的demo，使用Canny边缘检测提取输入图像中小鹿的轮廓特征，提示“一张高质量、详细、专业的图像”生成4张结果图在 SD 1.5 中。
深入探索T2I-Adapter：安装与使用完整指南
gitblog_02755的博客
12-12 898
深入探索T2I-Adapter：安装与使用完整指南 T2I-Adapter 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/T2I-Adapter ...
Stable Diffusion 插件 Controlnet 安装使用教程（图像精准控制）
m0_71746299的博客
03-11 1348
Stable Diffusion WebUI 的绘画插件 Controlnet 最近更新了 V1.1 版本，发布了 14 个优化模型，并新增了多个预处理器，让它的功能比之前更加好用了，最近几天又连续更新了 3 个新 Reference 预处理器，可以直接根据图像生产风格类似的变体。使用 Reference only 预处理器生成一张图片的多个变体。
T2I-Adapter：学习适配器为文本到图像扩散模型挖掘更多可控能力
weixin_47748259的博客
04-23 4236
注意，Fc的维度与UNet降噪器的编码器中的中间特征Fenc = {Fe1nc, Fe2nc, Fe3nc, Fe4nc}相同。在第一阶段，SD 训练了一个自动编码器，它可以将图像 X0 转换为潜在空间，然后重建它们。扩散模型中的时间嵌入是采样的重要条件。T2I-Adapter 具有良好的泛化性，可以支持各种结构控制，包括草图、深度图、语义分割图和关键姿势。因此，为了加强adapter的训练，采用非均匀采样来增加采样早期t下降的概率。作为干净的潜在特征，被输入到自动编码器的解码器中以执行图像生成。
使用新的 CONTROLNET 风格模型 T2I-Adapter 从图像中转移风格！
Aitrepreneur的博客
08-12 631
使用ControlNet轻松将图像风格迁移到另一张图像 本文介绍了一种名为“t2i adapter_style”的全新ControlNet模型，它能将一张图像的风格迁移到另一张图像。 安装步骤： 确保ControlNet扩展已更新至最新版本。 从文章链接下载“t2i adapter_style”模型文件。 将下载的模型文件放置到Stable Diffusion WebUI文件夹下的“extens...
T2I-Adapter: 让马良之神笔（扩散模型）从文本生成图像更加可控
wqthaha的专栏
12-20 3051
大规模的text2image模型具有不可置信的生成能力，已经在学习复杂结构和高层语义上展现了超能力。但是，仅依赖文本提示还不够充分挖掘这些能力，特别是在灵活以及准确地控制下（例如颜色和结构）。在这篇文章中，作者尝试去发掘这种T2I模型隐性学习的能力，然后直接使用它们去控制更加有颗粒度的生成。特别地，作者提出学习简单的轻量级的T2I-Adapters去对齐模型内部的知识。
论文和源码解读：T2I-Adapter: Learning Adapters to Dig out More Controllable Ability
沉迷单车的追风少年
09-29 1029
今天是中秋节，先祝读者们中秋节快乐！2023年初的时候，腾讯PCG就发布了T2I-Adapter这篇论文。由于同一时期额外条件控制的新论文很多，例如ControlNet、T2I等，所以博主当时并没有重点推荐这篇论文。经过时间的考验，T2I-Adapter越来越火，甚至在视频生成、3D生成等其他领域被广泛借鉴。这篇博客主要解读一下T2I-Adapter的论文和源代码。
可控图像生成 论文解读 IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models
qq_50848391的博客
10-20 2452
其实本篇文章的核心思想和简单，就是冻结Stable Diffusion的参数，只对原Stable Diffusion结构中的CrossAttnDownBlock2D做了更改，由原来的一个TransformerBlock变成了两个（不是串联，可以理解为并联再相加），新加入的TransformerBlock与原本的TransformerBlock不同之处在于输入不同，一个是Text Embedding，一个是Image Embedding。
可控图像生成 SeeCoder: Prompt-Free Diffusion: Taking “Text” out of Text-to-Image Diffusion Models 论文解读
qq_50848391的博客
10-31 836
这种方法已成为最受下游用户欢迎的方法之一，因为它：a) 与提示相比，将结构与内容分离可对结果进行。
AIGC图生图技术详解：从原理到实战应用全解析
最新发布
AI 原生应用开发的博客
05-02 638
图生图技术是AIGC的重要分支，指基于输入图像生成新图像的AI技术，涵盖风格迁移、图像修复、条件编辑、多模态融合等场景。本文聚焦技术原理与工程实践，覆盖从扩散模型基础到Stable Diffusion、ControlNet等前沿框架的全链路解析，旨在帮助开发者掌握从理论到落地的完整能力。背景与核心概念 → 2. 扩散模型数学与架构 → 3. 主流框架（Stable Diffusion）解析 → 4. 实战案例（风格迁移/条件控制） → 5. 工业场景应用 → 6. 工具资源与未来趋势。
T2I-Adapter:Learning adapters to dig out more controllable ability for text-to-image diffusion model
liguandong
09-05 1119
如下图所示，将DDIM推断采样均匀的分为3个阶段，即开始，中间和后期阶段，然后将指导信息添加到每个阶段，在中间和后期添加指导信息基本没有什么影响，因此生成结果主要内容是在早期采样阶段确定的，因此，t是从后面的部分采样的，在训练中则忽略，为了加强adapter的训练，采用非均匀采样来增加t落入早期采样的概率。T2I模型生成结果通常有丰富的纹理，清晰的边缘，合理的机构和有意义的语义，这表明T2I可以通过一种隐式的方式很好的捕捉不同层次的信息，从低层次（例如纹理），中层次（例如边缘）到高层次（语义）。
T2I-Adapter：增强文本到图像生成的控制能力
Winfredzhang的博客
09-12 1313
T2I-Adapter 是一个可插拔的模块，可以增强 T2I 模型的控制能力。T2I-Adapter 模型已经在各种 T2I 模型上进行了实验，并取得了显著的效果提升。例如，在 Sketch-to-Image 任务上，T2I-Adapter 模型可以生成更逼真的图像，并更符合用户的预期。近年来，随着深度学习技术的发展，T2I 技术取得了显著进展，生成的图像在视觉效果上已经与真实图像难以区分。T2I-Adapter 模型的发布为 T2I 技术的应用带来了新的可能性。
精确控制 AI 图像生成的破冰方案，ControlNet 和 T2I-Adapter
西乔——神秘的程序员
02-21 6485
ControlNet 和 T2I-Adapter 的突破性在哪里？有什么区别？其它为 T2I 扩散模型施加条件引导的相关研究ControlNet 和 T2I-Adapter 的实际应用效果如何？使用体验上，跟 SD原生支持的 img2img 有什么区别？ControlNet 在插画创作上的潜力多种条件引导的组合使用ControlNet 在3D和动画创作上的潜力哪里可以免安装且免费玩上？论文和模型这...
T2I-Adapter
m0_68676142的博客
03-01 749
本周学习的T2I-Adapter是一种专为文本生成图像任务设计的高效适配器。该方法通过低成本整合T2I模型内部知识与外部控制信号，实现对生成过程的精细调控。适配器采用四个特征提取模块与三个下采样块，并利用像素反洗牌技术将条件信息降采样至64×64，再与UNet编码器中间特征融合，从而实现图像结构和色彩的双重指导。同时，借助空间调色板对图像色调与颜色分布进行粗略调控，解决了稳定扩散模型在复杂场景下生成效果欠佳的问题。本周学习的T2I-Adapter通过巧妙的结构设计，实现了文本到图像生成过程中的精准控制。
浅析扩散模型与图像生成【应用篇】(二十七)——T2I-Adapter
深视
05-17 1136
该文提出一种根据外部控制信号引导文本图像生成的方法，外部控制信号包括边缘图、线稿图、关键点等，使生成的图像在满足文本描述的前提下，还能够符合外部控制信号提供的布局和结构。这个想法与ControlNet类似，但本文提出的方法更加高效、精简，只需要训练一个额外的小模型Adapter，无需对文本-图像生成模型（如SD）进行微调训练。
T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Mode
qq_50465499的博客
05-22 424
我们提出了 T2I-Adapter，这是一种简单但有效的方法，能够以低成本很好地对齐 T2I 模型和外部控制信号的内部知识。2)。T2IAdapter 可以为现有的 T2I 模型提供更准确的可控指导，同时不影响其原始生成能力。3)。大量实验表明，我们的方法在各种条件下运行良好，这些条件也可以很容易地组合以实现多条件控制。4)。所提出的 T2I-Adapter 还具有吸引人的泛化能力，可用于一些自定义模型和粗略条件，例如自由手样式草图。
ControlNet 1.1重磅发布，14个模型全部开源！
热门推荐
yanqianglifei的专栏
04-15 1万+
来源：https://github.com/lllyasviel/ControlNet-v1-1-nightlyControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型，具有改进的稳健性和结果质量,并添加了几个新模型。
Diffusers代码学习: T2I Adapter
duhaining1976的博客
06-09 1343
AIGC应用及研究系列
ControlNet技术详解：从 Peer-to-Peer 到 Industrial IoT
ControlNet网络还支持远程I/O，如DH+TM I/O和Universal Remote I/O，提供灵活的系统配置。 ControlNet可以与多种其他网络协议集成，如NetLinxTM，一个Rockwell Automation的专有架构，允许在ControlNet、EtherNet/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值