Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model论文阅读

1. 研究目标与实际意义

1.1 研究目标

论文旨在解决光照退化图像恢复(Illumination Degradation Image Restoration, IDIR)任务中的两大核心挑战:

  1. 计算效率问题:现有扩散模型(如Diff-Retinex)直接在图像空间生成,导致推理步骤多、计算成本高;
  2. 像素对齐问题:生成图像与原始输入在细节和局部一致性上存在偏差(见图1虚线框示例)。

1.2 实际意义

IDIR在安防监控、医学影像、自动驾驶等领域有广泛应用。传统方法依赖手工先验,深度学习模型(如Retinex-Net)缺乏对复杂退化的鲁棒性。Reti-Diff通过潜在空间扩散模型(LDM)和Retinex引导的分解-生成范式,显著提升复杂光照退化场景下的恢复质量与效率,为下游任务(如低光目标检测)提供可靠输入。


2. 创新方法与模型设计

2.1 整体框架

Reti-Diff由两部分组成(见图3):

  1. Retinex-based Latent Diffusion Model (RLDM):在潜在空间生成Retinex先验(反射率先验 Z R Z_R ZR 和光照先验 Z L Z_L ZL);
  2. Retinex-guided Transformer (RGformer):利用先验引导图像分解与增强。

图3. Reti-Diff框架

2.2 Retinex Prior Extraction (RPE)模块

2.2.1 Retinex分解

根据Retinex理论,图像分解为反射率 R R R 和光照 L L L
I L Q = R L Q ⊙ L L Q , I G T = R G T ⊙ L G T ( 1 ) I_{LQ} = R_{LQ} \odot L_{LQ},\quad I_{GT} = R_{GT} \odot L_{GT} \qquad (1) ILQ=RLQLLQ,IGT=RGTLGT(1)
其中 ⊙ \odot 表示逐元素乘积。通过预训练分解网络 D ( ⋅ ) D(\cdot) D() 分离低质(LQ)和高质量(GT)图像的反射率与光照分量。

2.2.2 先验压缩

通过RPE模块将GT与LQ的Retinex分量压缩为紧凑先验:
Z R = RPE ( down ( conca ( R G T , R L Q ) ) ) Z_R = \text{RPE}(\text{down}(\text{conca}(R_{GT}, R_{LQ}))) ZR=RPE(down(conca(RGT,RLQ)))
Z L = RPE ( down ( conca ( L G T , L L Q ) ) ) ( 2 ) Z_L = \text{RPE}(\text{down}(\text{conca}(L_{GT}, L_{LQ}))) \qquad (2) ZL=RPE(down(conca(LGT,LLQ)))(2)
其中,conca表示通道拼接,down通过PixelUnshuffle实现下采样,RPE由多层卷积构成。

2.3 Retinex-guided Transformer (RGformer)

2.3.1 Retinex-guided Multi-head Cross Attention (RG-MCA)

输入特征 F F F 被分为两部分 F 1 F_1 F1 F 2 F_2 F2,分别与 Z R Z_R Z

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

青铜锁00

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值