论文阅读（1）Adding Conditional Control to Text-to-Image Diffusion Models

Motivation

1. 文生图模型对于图像空间组成的控制有限；仅通过文本提示难以精确表达复杂的布局、子式、形状和形式
2. 以端到端（e.g. 深度图到图像，姿势到图像等）的方式学习大型文生图扩散模型的条件控制具有挑战性（训练数据不足、训练过度拟合或灾难性遗忘）

Approach

通过锁定模型参数并制作其编码层的可训练副本来保持模型的质量与功能

可训练副本和原始锁定模型通过零卷积层连接，权重初始化为零，以便它们在训练过程中逐渐增长。一次确保在训练开始时不会将有害噪声添加到 large diffusion model 的深层特征中，并保护可训练副本中的大规模预训练主干免受这种噪声的破坏。

零卷积 (zero convolution)：权重和偏置都是用0初始化的1 x 1卷积。

Condition：Canny edges, Hough lines, user scribbles, human key points, segmentation maps, shape normals, depths, and cartoon line drawings

FAQ（参考 Github 官方回答）

问：如果卷积层的权重为零，梯度也为零，网络将不会学到任何东西。为什么『零卷积』有效？
答：这是错误的。让我们考虑一个非常简单的
$$y=wx+b$$
我们有
$$\partial y/\partial w=x,\partial y/\partial x=w,\partial y/\partial b=1$$
如果 $w=0$ 且 $x\ne 0$，那么
$$\partial y/\partial w\ne 0,\partial y/\partial x=0,\partial y/\partial b\ne 0$$
这意味着只要 $x\ne 0$，一次梯度下降迭代就会使 $w$ 非零。然后
$$\partial y/\partial x\ne 0$$
使得零卷积将逐渐成为具有非零权重的公共卷积层。

Method

ControlNet

锁定原始网络参数 $\Theta$，并同时克隆到具有参数 ${\Theta }_c$ 的可训练副本。条件向量 $c$ 通过零卷积层与 $x$ 相加，经可训练副本网络后，再通过零卷积层与原始网络的输出相加，得到 $y_c$
$$\begin{gathered} y_c=\mathcal{F}(x;\Theta )+\mathcal{Z}(\mathcal{F}(x+\mathcal{Z}(c;{\Theta }_{z1});{\Theta }_c);{\Theta }_{z2}) \\ {y}_c=y \end{gathered}$$
因此在训练开始时，有害噪声不会影响到可训练副本中神经网络层的隐藏状态。

由于 $\mathcal{Z}(c;{\Theta }_{z1})=0$，可训练副本还接收输入图像 $x$，因此它保留了原先预训练大模型的能力，并允许进一步进行学习。

使用 ControlNet 创建 12 个 SD Encoder Block 和 1 个 SD Middle Block，输出被接入到 12 个 SD Decoder Block 和 1 个 SD Middle Block。

由于 SD 是在浅空间中进行扩散，因此 ControlNet 使用具有 $4\times 4$ 核和 $2\times 2$ 步长的四个卷积层组成的微小网络 $\mathcal{E}$ 将输入为 $512\times 512$ 的条件图像（边缘、姿势、深度等）转换为 $64\times 64$ 的浅空间图像。
$$c_f=\mathcal{E}(c_i)$$

Training

$$\mathcal{L}={\mathbb{E}}_{z_0,t,c_t,c_f,ϵ\sim \mathcal{N}(0,1)}[{\Vert ϵ-{ϵ}_{\theta }(z_t,t,c_t,c_f)\Vert }_2^2]$$

在训练过程中，随即将 50% 的文本提示词替换为空字符串。这样可以提高 ControlNet 识别输入条件图像语义的能力，而非通过提示词识别语义。

作者观察到，模型不会逐渐学习到控制条件，而是突然成功遵循输入条件图片。他们将此称为『突然收敛现象』（「sudden convergence phenomenon」）

Inference

Classifier-free guidance resolution weighting

CFG: ${ϵ}_{prd}={ϵ}_{uc}+{\beta }_{cfg}({ϵ}_c-{ϵ}_{uc})$

首先将条件图像添加到 ${ϵ}_c$，然后根据每个块的分辨率 $w_i=64/h_i$，将权重 $wi$ 乘以 SD 和 ControlNet 之间的每个连接，其中 $h_i$ 是第 $i$ 个块的大小，例如，$h_1=8，h_2=16，\dots ，h_{13}=64$。

Composing multiple ControlNet

直接将多个条件图像的 ControlNet 输出加入到 SD 模型中，不需要进行额外的加权或线性内插就能得到很好的效果

Result

Reference

Adding Conditional Control to Text-to-Image Diffusion Models