T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Mode

• tencent PCG
• https://arxiv.org/pdf/2302.08453
• https://github.com/TencentARC/T2I-Adapter?tab=readme-ov-file

1. 问题引入

• 为sd模型在文本以外增加更多的控制，例如深度图等等，以adapter的形式；
• 认为sd模型本身就具备生成各种图片的能力，本文要做的只是一种对齐，模型内部能力和外部控制信号的对齐；

2. methods
   

• 对于输入的条件$512\times 512$，然后使用pixel shuffle来使其尺寸到达$64\times 64$，总共有四个scale，每个scale包含一个卷积和2个residual blocks，这样可以得到multi scale的条件特征 F c = { F c 1 , F c 2 , F c 3 , F c 4 } F_c = \{F^1_c,F^2_c,F_c^3,F_c^4\} Fc​={Fc1​,Fc2​,Fc3​,Fc4​}，其中每个$F_c^i$和unet对应scale的中间特征尺寸相同，分别进行相加；
• 对应结构性控制条件的图片直接作为输入，作为控制图片颜色的条件，首先进行降采样然后最近邻插值后的结果作为输入；
• 多个adapter可以进行叠加使用；
• 进行了cubic采样来提高较大t的概率来提高训练效果；