Stable Diffusion 原理

 简化版原理图

SD模型分两种，一种只包括U-net网络，一种包括U-net网络和VAE。

U-net网络负责在潜空间中去除图片的噪声，而VAE负责将图片从潜空间中捞出来，恢复图片中被压缩的信息。

图中的CLIP负责将文字转换为向量表示，用于指导U-net的去噪。

 

架构图_包括训练和出图 

架构图分为两部分，上半部分（箭头从左至右）代表训练，下半部分（箭头从右至左）代表出图。左侧的红色区域为像素空间，对应正常的图片。中间的绿色区域代表潜空间，对应被压缩的、只保留重要基础特征的图片。VAE是这两个空间的桥梁，通过VAE的编码器（Encoder，图中的ε），可以使图片进入潜空间，通过VAE的解码器（Decoder，图中的D），可以使图片被捞出潜空间。右侧的灰色区域为输入的条件。

出图过程：

U-net网络（即， 略图为）使用了交叉注意让输入的条件介入去噪过程，对图片进行多轮迭代，再经由VAE捞出潜空间，即可获得成图。