Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model (Papar reading)

Zero-Shot Image Restoration Using Denoising Diffusion Null-Space Model (Papar reading)

Yinhuai Wang, Peking University Shenzhen Graduate School, China, arXiv, Cited:0, Code, Paper.

1. 方法

1.1 考虑无噪声的复原任务

无噪声的复原任务可以表示为：$y=Ax$，其中$x\in {\mathbb{R}}^{D\times 1},A\in {\mathbb{R}}^{d\times D},y\in {\mathbb{R}}^{d\times 1}$。图像复原任务通常要生存符合以下两个约束的估计$\hat{x}$：
$$Consistency:A\hat{x}\equiv y,Realness:\hat{x}\sim q(x)$$
这里$q(x)$是GT图像$x$的分布。

对于一致性(Consistency)，我们可以利用范围零空间分解(range-null space decomposition)。给定线性算子$A\in {\mathbb{R}}^{d\times D}$，他的伪逆$A^{†}\in {\mathbb{R}}^{D\times d}$满足$A{A}^{†}A\equiv A$。由于$A{A}^{†}Ax\equiv Ax$，$A^{†}A$可以看作是将样本$x$映射到A的范围空间(range-space)的算子。而由于$A(I-A^{†}A)\equiv 0$，则$(I-A^{†}A)$可以看作是将样本$x$映射到A的零空间(null-space)的算子。什么是range-space和null-space？.有趣的是，任何样本$x$可以被分解为两部分：
$$x\equiv A^{†}Ax+(I-A^{†}A)x$$
此外，左边乘$A$有，$Ax\equiv A{A}^{†}Ax+A(I-A^{†}A)x\equiv Ax+0\equiv y$。我们还发现，对于降质图像$y$，我们可以直接重构通用解$\hat{x}$，并满足一致性，$\hat{x}=A^{†}y+(I-A^{†}A)\bar{x}$。这里$\bar{x}$决定着$\hat{x}\sim q(x)$，因此我们的目标是找到一个合适的$\bar{x}$保证真实性(Realness)。我们知道，在DDPM中$x_0$是可以被估计出来的，第$t$步的估计可表示为：
$$x_{0|t}=\frac{1}{\sqrt{\overline{{\alpha }_t}}}(x_t-{\mathcal{Z}}_{\theta }(x_t,t)\sqrt{1-\overline{{\alpha }_t}})$$
因此我们可以获得修正估计${\hat{x}}_{0|t}=A^{†}y+(I-A^{†}A)x_{0|t}$，最后我们可以用这个估计来从$p(x_{t-1}|x_t,{\hat{x}}_{0|t})$采样$x_{t-1}$。算法下图所示：

1.2 有噪声的复原任务

Coming soon.