2024最新controlnet详解：T2i-Adapter 的使用方法

知乎同步更新：2024最新controlnet详解：T2i-Adapter 的使用方法 - 知乎 (zhihu.com)

T2I-Adapter 是一种轻量级模型，旨在为预训练的 T2I 模型（特别是稳定扩散 (SD) 模型）提供额外指导。它从条件图（例如草图或彩色图）中提取指导特征，并将这些特征注入 SD 模型以指导其图像生成过程。T2I-Adapter 不会微调或修改预训练模型；相反，它会学习将 SD 模型的内部知识与外部控制信号对齐。

下面是T2I-Adapter算法发挥作用的示意图：

T2I-Adapter算法的详细结构：

T2I 适配器的优点：

1. 它非常小，因为其基本版本有 7700 万个参数。

2. 它很灵活，因为我们可以训练不同的条件模型并且它们可以同时使用。

3. 无需对整个稳定扩散模型进行微调，这在计算上非常昂贵，并且对于大多数用户来说不可行。

（1）t2ia_color_grid预处理效果

这一般是用得最多的效果，因为可以控制出图颜色

t2ia_color_grid预处理器将输入参考图像缩小到原始大小的1/64，然后再将其扩大至回原始尺寸。最终效果是呈现出网格状的局部平均颜色块。

t2ia_color_grid预处理效果t2ia_color_grid完整的效果：

（2）t2ia_sketch_pidi预处理效果

t2ia_sketch_pidi预处理效果t2ia_sketch_pidi的完整效果：

（3）t2ia_style_clipvision预处理效果

t2ia_style_clipvision预处理效果t2ia_style_clipvision的完整效果：

总的来说，T2I适配器是一个简单的模型，可以与稳定的扩散模型一起使用，提供额外的条件，可以帮助产生更好的图像。我们将条件图像作为这些模型的输入，并在unet的编码器模型中添加输出特征。

最常使用的是色块固定

---

站长素材AI教程是站长之家旗下AI绘图教程平台

海量AI免费教程，持续更新干货内容

想要深入学习更多AI绘图教程，请访问站长素材AI教程网：

AI教程_深度学习入门指南 - 站长素材 (chinaz.com)