Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models学习笔记

motivation：
没有利用预训练latent diffusion解决线性逆问题的工作，之前工作（DPS，DDRM）都只在像素空间
contribution：
利用预训练latent diffusion解决线性逆问题

background

SDE（随机微分方程）,相当于加噪过程
$$\mathrm{d}x=f(x,t)\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}$$
条件反向SDE，通过反向SDE采样$p_0(x_0|y)$
$$\mathrm{d}x=\left(f(x,t)-g^2(t)\left({\nabla }_{x_t}\log p_t(x_t)+{\nabla }_{x_t}\log p(y|x_t)\right)\right)\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}$$
问题：${\nabla }_{x_t}\log p(y|x_t)$难以求得
DPS计算方法：
$$p(y|x_t)\approx p\left(y|x_0=\mathbb{E}[x_0|x_t]\right)=\mathcal{N}(y;\mu =\mathcal{A}\mathbb{E}[x_0|x_t],\Sigma ={\sigma }_y^{2}I)$$
DPS用其给定噪声输入的情况下的条件期望 $\mathbb{E}[x_0|x_t]$ 替换未知的干净图像 $x_0$ 。这种近似下，$p(y|x_t)$变得易于处理。
推导过程比较复杂，得到最终结果：
$${\nabla }_{{\mathbf{x}}_t}\log p(\mathbf{y}|{\mathbf{x}}_t)\simeq -\rho {\nabla }_{{\mathbf{x}}_t}\Vert \mathbf{y}-\mathcal{A}({\mathbf{x}}_0){\Vert }_{\mathbf{\Lambda }}^2,$$
DPS算法：


引入${\nabla }_{x_i}\Vert y-\mathcal{A}({\hat{x}}_0){\Vert }_2^2$的作用：当测量有噪声时，我们的方法防止样本从生成流形上脱落

method

在latent diffusion中
$$\mathrm{d}z=f(z,t)\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}$$
将DPS简单扩展（有问题）：
$$p(y|z_t)\approx p(y|x_0=\mathcal{D}\left(\mathbb{E}[z_0|z_t]\right))$$
这个想法并不奏效，原因：encoder是多对一映射。采用（5）给出的密度梯度可以将$z_t$拉向这些潜伏时间$z_0$中的任何一个，可能在不同的方向上。
为了解决以上问题，提出gluing objective：

DPS简单扩展的理解

一个 $z_0$ 对应多个 $x_0$

$$\begin{array}{rl}{\nabla }_{{\mathbf{z}}_t}\log p(\mathbf{y}|{\mathbf{z}}_t)& =\underset{\mathrm{DPS}\mathrm{vanilla}\mathrm{extension}}{\underbrace{{\nabla }_{{\mathbf{z}}_t}p(\mathbf{y}|x_0=\mathcal{D}\left(\mathbb{E}[z_0|z_t]\right))}}\\ & +{\gamma }_t\underset{\text{“grluing”” of }{\mathbf{z}}_0}{\underbrace{{\nabla }_{z_t}{\left|\left|\mathbb{E}[z_0|z_t]-\mathcal{E}({\mathcal{A}}^T\mathcal{A}{x}_0^{\ast }+(\mathbf{I}-{\mathcal{A}}^T\mathcal{A})\mathcal{D}(\mathbb{E}[z_0|z_t]))\right|\right|}^2}}.\end{array}$$

experiments