【2023 Arxiv LPDM】Denoising Diffusion Post-Processing for Low-Light Image Enhancement

• Paper：https://arxiv.org/abs/2303.09627
• Codes：https://github.com/savvaki/LPDM
  

一、概括

• 用扩散模型估计增强图像中的噪声，然后去噪。

二、摘要

1、任务

• 低光图像增强（LLIE）：将低质量的低光照图像恢复到高质量的正常光照图像
• 后处理降噪器：对增强后的图像进行去噪

2、现有方法不足

• 增强方法：会有各种图像退化，如噪声和颜色偏差
• 后处理降噪器：会产生缺乏细节的过度平滑结果

3、本文贡献

• 一种在 LLIE 管道中应用扩散模型作为后处理技术的方法（LPDM）
• 模拟曝光不足和正常曝光图像之间的条件分布，避免逆向生成的计算成本
• 能够处理各种不同的伪像和颜色失真

三、相关工作

1、扩散模型

• 前向扩散过程
  每步加噪符合高斯分布：
  
  推理出以$x_0$为条件的高斯分布：
  
  进而通过$x_0$和 $t$ 直接计算$x_t$：
  

• 反向条件扩散过程
  以$c$为条件，每步去噪符合高斯分布：
  __ ${\Sigma }_{\theta }$ 设为定值，不学习；${\mu }_{\theta }$ 不直接学习
  

• 优化目标：

  • __ 随机生成 $\epsilon$，根据公式(3)直接计算出 $x_t$
    __ 根据 $x_t$，用模型估计${\epsilon }_{\theta }$
    __ 进而计算出估计的 $x_t$
    

2、Unet网络

• 原始Unet
  编码器：残差块+下采样
  中间块：残差块
  解码器：残差块+上采样

• 对Unet进行修改
  以正弦位置嵌入表示的时间步信息为条件
  不同空间分辨率下使用注意力机制
  在残差块内使用组归一化
  __ 残差块结构
  

四、方法模型

1、思路

• 将扩散模型训练为噪声检测器，进而去除增强图像的噪声

2、框架

• 训练：加噪的正常图像和低光图像作为输入，输出加噪图像的噪声

• 推理：将增强图像和低光图像作为输入，输出增强图像中的噪声

3、形式化表达

• 噪声的估计值：

• 减去噪声：

4、过程图示

• __ 第二行：不同t值的结果
  __ 第三行：不同Φ值的估计结果（Φ值低会高估噪声，Φ值高会尝试生成图像）
  __ 第四行：不同s值的去噪结果

五、实验结果

1、定量结果

• LOL数据集结果
  

• 未配对数据集结果
  

2、定性结果

3、消融实验