重点
暗光增强任务面临着输入图像模糊、信息少、低饱和度、低对比度等退化问题,目前有非常多的方法已经提出来解决问题,但是,并没有一个方法足够轻量化、速度快,以至于将模型部署到移动端上。
全文最最重要的就是说自己的网络轻量化、速度快
作者提出了一种方法:
- 使用经过预处理(retouching module)的数据集(图选自COCO),以原图+max value of RGB+反 max value of RGB 结合图 作为input,先训练illumination net和fushion net,illumination net输出under/over exposed 图,fusion net的输出是权重而不是结果。
- 固定之前网络参数,将输出的权重和之前的跳接图进行相乘,作为输入restoration net输入,进行训练,得到Neg-Noise /Neg-Artifacts(去除噪声和伪影)并与输入进行跳接,得到结果
- 其中,总的loss由4种loss组成
为什么用原图+max value of RGB+ 反 max value of RGB(第一部分)和原图+under/over exposed(第二部分)做输入呢?
这里作者没有细说,但是从自己的理解来看,首先原图和under exposed作为输入自不必说,因为这是最终需要增强的图片,然后over exposed的图像作为输入首先肯定是为了更多的场景考虑,换句话也可以说是不同的light level,或者理解成data augment?同时,暗光增强是需要输出视觉质量高,这肯定包括了不过曝,增加了数据的类型,能够让网络学习到更多信息。
Retouching module和Dataset
Retouching modul