stable diffusion原理

1、Latent space

隐空间是压缩数据的一个表示。数据压缩的目的是学习数据中较重要的信息。以编码器-解码器网络为例，首先使用全卷积神经网(FCN)络学习图片特征，我们将特征提取中对数据的降维看作一种有损压缩。但是由于解码器需要重建(reconstruct)数据，所以模型必须学习如何储存所有相关信息并且忽略噪音。所以压缩（降维）的好处在于可以去掉多余的信息从而关注于最关键的特征。

2、AutoEncoder 和 VAE

AutoEncoder:

(1)AE是一个预训练的自编码器，自编码器的目的是数据降维，其优化目标是通过编码器压缩数据，再通过解码器还原数据，使得输入输出的数据尽量相同

(2)理论上来说对于图像数据，解码器还原数据可以看做是一个生成器的功能，由于解码器的输入数据z属于R空间，输入z的分布无法被固定住，所以大部分生成的图片是无意义的。

VAE：

(1)给定输入解码器的z一个分布可以解决上述问题，假设一个服从标准多元高斯分布的多维随机变量的数据集X，通过根据已知分布采样得到的zi，来训练decoder神经网络，从而得到多元高斯分布的均值和方差，从而成功得到一个逼近真实分布p(X)的p’(X)

(2)求解p’(X|z)的概率分布

(3)通过极大似然估计，最大化p’(X)的概率，但由于xi的维度很大，zi的维度也很大，需要准确找到与xi分布相关的zi，需要大量的采样，因此需要在encoder中引入后验分布p’(z|xi)，让xi与zi关联起来