Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model
1. 研究目标与实际意义
1.1 研究目标
论文旨在解决光照退化图像恢复(Illumination Degradation Image Restoration, IDIR)任务中的两大核心挑战:
- 计算效率问题:现有扩散模型(如Diff-Retinex)直接在图像空间生成,导致推理步骤多、计算成本高;
- 像素对齐问题:生成图像与原始输入在细节和局部一致性上存在偏差(见图1虚线框示例)。
1.2 实际意义
IDIR在安防监控、医学影像、自动驾驶等领域有广泛应用。传统方法依赖手工先验,深度学习模型(如Retinex-Net)缺乏对复杂退化的鲁棒性。Reti-Diff通过潜在空间扩散模型(LDM)和Retinex引导的分解-生成范式,显著提升复杂光照退化场景下的恢复质量与效率,为下游任务(如低光目标检测)提供可靠输入。
2. 创新方法与模型设计
2.1 整体框架
Reti-Diff由两部分组成(见图3):
- Retinex-based Latent Diffusion Model (RLDM):在潜在空间生成Retinex先验(反射率先验 Z R Z_R ZR 和光照先验 Z L Z_L ZL);
- Retinex-guided Transformer (RGformer):利用先验引导图像分解与增强。
2.2 Retinex Prior Extraction (RPE)模块
2.2.1 Retinex分解
根据Retinex理论,图像分解为反射率 R R R 和光照 L L L:
I L Q = R L Q ⊙ L L Q , I G T = R G T ⊙ L G T ( 1 ) I_{LQ} = R_{LQ} \odot L_{LQ},\quad I_{GT} = R_{GT} \odot L_{GT} \qquad (1) ILQ=RLQ⊙LLQ,IGT=RGT⊙LGT(1)
其中 ⊙ \odot ⊙ 表示逐元素乘积。通过预训练分解网络 D ( ⋅ ) D(\cdot) D(⋅) 分离低质(LQ)和高质量(GT)图像的反射率与光照分量。
2.2.2 先验压缩
通过RPE模块将GT与LQ的Retinex分量压缩为紧凑先验:
Z R = RPE ( down ( conca ( R G T , R L Q ) ) ) Z_R = \text{RPE}(\text{down}(\text{conca}(R_{GT}, R_{LQ}))) ZR=RPE(down(conca(RGT,RLQ)))
Z L = RPE ( down ( conca ( L G T , L L Q ) ) ) ( 2 ) Z_L = \text{RPE}(\text{down}(\text{conca}(L_{GT}, L_{LQ}))) \qquad (2) ZL=RPE(down(conca(LGT,LLQ)))(2)
其中,conca
表示通道拼接,down
通过PixelUnshuffle实现下采样,RPE由多层卷积构成。
2.3 Retinex-guided Transformer (RGformer)
2.3.1 Retinex-guided Multi-head Cross Attention (RG-MCA)
输入特征 F F F 被分为两部分 F 1 F_1 F1 和 F 2 F_2 F2,分别与 Z R Z_R Z