【ControlNet v3版本论文阅读】

网络部分最好有LDM或者Stable Diffusion的基础，有基础的话会看的很轻松

Abstract

1.提出了一种网络结构支持额外输入条件控制大型预训练的扩散模型。利用预训练模型学习一组不同的条件控制。
2.ControlNet对于小型（<50k）或大型（>1m）数据集都是稳健，可以促进更广泛的应用控制图像扩散模型。

Introduction

现有问题：
1.仅通过文本提示很难准确表达复杂的布局、姿势、形状和形式去生成所需图像，通常需要多次文本编辑。
想法：
提供额外的空间控制（条件）以生成想要的图像组合且深度到图像、姿势到图像等问题需要端到端学习和数据驱动的解决方案。
挑战：
1.特定条件的训练数据数量可能明显小于通用文本到图像训练的数据。（直接对大模型进行微调可能会导致过拟合和灾难性遗忘等问题）
->解决 设计更深或更定制的神经架构处理具有复杂形状和步同高级语义的图像。

ControlNet

1.端到端的神经网络架构学习大型与训练文本到图像扩散模型的条件控制
2.锁定大模型的参数以保留质量和功能，并使其成为其编码层的可训练副本
3.可训练副本和原始锁定模型通过零卷积层相连，且权重初始化为0（训练期间主键增长），保证训练开始时不会将有害噪声添加到大型扩散模型的深度特征中，并保护可训练副本中的大规模预训练主干不被此类噪声破坏。
实验结果：
1.可多种条件控制
2.可不同大小数据集
3.省显卡
贡献：
1.我们提出了 ControlNet，这是一种神经网络架构，可以通过有效的微调将空间局部输入条件添加到预训练的文本到图像扩散模型中
2.我们提出了预训练的 ControlNets 来控制稳定的扩散，以 Canny 边缘、Hough 线、用户涂鸦、人类关键点、分割图、形状法线、深度和卡通线条图为条件
3.我们通过消融实验验证该方法，并与几种替代架构进行比较，并开展用户研究专注于跨不同任务的几个先前基线。

Method

3.1 基本结构

神经块输入特征图x，输出特征图y，参数为，公式为：
ControlNet中锁定原始块参数，并克隆为可训练副本参数为，输入外部条件向量c，用两个不同参数的初始化为零的零卷积层
将副本连接到主干网络。公式为：
总结： 其实就是将输入条件先进行零卷积，然后将加上输入的x的结果输入克隆网络得到结果，将结果再进行零卷积后与x进入主干网络得到的结果y相加。

3.2 如何将ControlNet应用于图像扩散模型稳定扩散

使用stable diffusion（U-Net）作为大型预训练扩散模型，包括：编码器、中间块和跳过连接解码器，具体包含什么块可以看图片或者源码。文本提示使用CLIP进行编码，扩散时间步使用一个时间编码器使用位置编码。
controlnet的具体结构如图所示。
补充： ControlNet类似LDM，在将原始条件输入网络之前先使用卷积等操作将特征转化到隐式空间，然后再输入到ControlNet。

3.3 训练，推理过程中额外因素

网络的损失函数：

1.训练；训练过程中将50%文本提示随机替换为空字符串以增加直接识别条件图像语义的能力。
2.零卷积不会向网络添加噪声，模型应始终能够预测高质量的图像。
3.会有突然收敛现象（不到10K优化步骤）

3.4 组合多个ControlNets

Classifier-free guidance resolution weighting.

Composing multiple ControlNets.

可以直接将相应的ControlNets的输出添加到稳定扩散模型中(图6)。这种组合不需要额外的加权或线性插值。

实验

消融实验

1.不同卷积层和不同提示的效果对比：

定量评价

1.用户调研

2.与工业模型比较
stable diffusion需要：
controlnet需要
发现结果差不多
3.条件重建和 FID 分数。

讨论

训练数据集大小的影响： 小数据集也行，大了更好

解释内容能力：

可用于各种扩散模型