Implicit Diffusion Models for Continuous Super-Resolution学习笔记

CVPR 2023

motivation：

• 目前的SR方法通常存在过平滑和伪影，且大多数只使用固定放大倍率的工作。

contribution：

• IDM在统一的端到端框架中集成了隐式神经表示和去噪扩散模型，增强 SR 图像的高保真细节。
• 计了一种尺度自适应调节机制，动态调整来自 LR 特征的真实信息与扩散过程中生成的精细细节的比率。

method

集成了Implicit Neural Representation（隐式神经表示）和去噪扩散模型
低分辨率图像x通过EDSR提取特征，将$f^{(0)}$和$y_t$连接起来，并将结果输入到U-Net中进行初步条件指导。$f^{(0)}$同时传入CNN
$${\mathbf{f}}^{(i)}=\mathbf{Conv}\left({\mathbf{f}}^{(i-1)}\right),(4)$$
Conv 表示具有双线性滤波下采样操作的卷积层和leaky ReLU

Scaling Factor Modulation（比例因子调制）

引入了一个比例因子s作为扩散过程的条件，目的：实现连续分辨率的放大。
首先定义一个区间 (1, M )，其中 M 是最大放大率，并在训练期间从区间中随机选择。
做法：将 s 映射到一组缩放向量 $\alpha =\left\{{\alpha }_1^{(1)},{\alpha }_2^{(1)},\dots ,{\alpha }_1^{(i)},{\alpha }_2^{(i)},\dots ,{\alpha }_1^{(N)},{\alpha }_2^{(N)}\right\}$

$$\begin{array}{rl}\alpha =Reshape(\mathrm{MLP}(s)),& \left(5\right)\\ {\bar{\alpha }}_1^{(}i)=\frac{\left|{\alpha }_1^{(i)}\right|}{\sqrt{{\alpha }_1^{(i{)}^2}+{\alpha }_2^{(i{)}^2}+\delta }},& (6)\\ \overline{o}{i}_2^{(i)}=\frac{\left|{\alpha }_2^{(i)}\right|}{\sqrt{{\alpha }_1^{(i{)}^2}+{\alpha }_2^{(i{)}^2}+\delta }},& \left(7\right)\\ {\mathbf{h}}^{(i)}={\bar{\alpha }}_1^{(i)}\cdot {\mathbf{f}}^{(i)}+{\bar{\alpha }}_2^{(i)}\cdot \mathbf{Concat}\left({\mathbf{u}}_{\mathrm{up}}^{(i)},{\mathbf{u}}_{\mathrm{down}}^{(i)}\right),& \left(8\right)\end{array}$$

${\mathbf{u}}_{\mathrm{up}}^{(i)}$, ${\mathbf{u}}_{\mathrm{down}}^{(i)}$分别指U-Net Decoder和Encoder的feature map

Implicit Neural Representation（隐式神经表示）

解决问题：
流行的 SR 方法通常受到复杂的级联管道或两阶段训练策略（以此实现连续分辨率）
做法：
将coordinate-based（基于坐标）的MLP插入到U-Net架构的上采样中，以参数化隐式神经表示
c：多分辨率特征的连续坐标，利用比例因子s从去噪网络中获得
$${\mathbf{u}}_{\mathrm{up}}^{(i)}=D_i\left({\hat{\mathbf{h}}}^{(i+1)},c^{(i)}-{\hat{c}}^{(i+1)}\right),(9)$$

experiments