ACM MM 2023| CLE Diffusion:可控光照增强扩散模型(low light image enhancement)

本文介绍了由北交大、UT Austin、A*Star团队提出的基于扩散模型的可控低光增强方法，论文被ACM MM 2023收录。

Paper Name:CLE Diffusion: Controllable Light Enhancement Diffusion Model
Keywords:Low light image enhancement, diffusion model, image processing
Paper Link:https://arxiv.org/abs/2308.06725
Code Link:https://github.com/YuyangYin/CLEDiffusion
Web Link:https://yuyangyin.github.io/CLEDiffusion/

Introduction

低光图像增强技术近年来受到了广泛的关注，目前的方法通常假设一个理想的增亮程度，对图像整体进行均匀的增强，同时也限制了用户的可控性。为了解决这个问题，本文提出了可控光照增强扩散模型（Controllable Light Enhancement Diffusion Model），可以让用户输入所需的增亮级别，并利用SAM模型，来实现交互友好的区域可控增亮。
如图演示效果，用户可以通过简单的点击来指定增亮的区域。

Method

本文提出了新型的可控光照增强框架，主要采用了条件扩散模型来控制任意区域的任意亮度增强。通过亮度控制模块（Brightness Control Module)将亮度信息信息融入Diffusion网络中，并且设计了和任务适配的条件控制信息和损失函数来增强模型的能力。同时本文使用了Mask输入和SAM模型(Segment-Anything Model)来进一步增强可控性，使得用户可以通过简单的点击形式实现任意区域的增亮。整体的框架如下图所示：

条件控制扩散模型

给定低光图像(low-light images)$x$和正常光照图像(normal-light images)$y$,相较于学习两个域的one-to-one mapping，本文更倾向于优化条件分布$p(y|x)$。采用了DDPM来进行条件生成，实验发现简单地将low light image $x$和混合噪声的normal-light image $y_t$效果比较差。因此本文采用了两个额外的输入信息，来减少色彩扭曲、棋盘状噪声的问题。

Color map:
$$C(x)=\frac{x}{x_{max}}=[\frac{x_r}{x_{r,max}},\frac{x_g}{x_{g,max}},\frac{x_b}{x_{b,max}}]$$
其中$x_r$代表图像的红色通道，$x_{r,ma}$