本文提出了一种轻量化、快速的图像增强方法，适用于移动端部署。通过预处理模块处理数据集，利用Illumination net和Fusion net进行初步增强，再通过Restoration net进行精细修复。总损失由四部分组成，包括颜色饱和度增强、视觉质量和结构质量的损失以及平滑度损失。整个模型结构简洁，旨在解决暗光环境下图像的模糊、低饱和度和低对比度问题。
重点
暗光增强任务面临着输入图像模糊、信息少、低饱和度、低对比度等退化问题，目前有非常多的方法已经提出来解决问题，但是，并没有一个方法足够轻量化、速度快，以至于将模型部署到移动端上。
全文最最重要的就是说自己的网络轻量化、速度快
作者提出了一种方法：
- 使用经过预处理（retouching module）的数据集（图选自COCO），以原图+max value of RGB+反 max value of RGB 结合图 作为input，先训练illumination net和fushion net，illumination net输出under/over exposed 图，fusion net的输出是权重而不是结果。
- 固定之前网络参数，将输出的权重和之前的跳接图进行相乘，作为输入restoration net输入，进行训练，得到Neg-Noise /Neg-Artifacts（去除噪声和伪影）并与输入进行跳接，得到结果
- 其中，总的loss由4种loss组成
为什么用原图+max value of RGB+ 反 max value of RGB（第一部分）和原图+under/over exposed（第二部分）做输入呢？
这里作者没有细说，但是从自己的理解来看，首先原图和under exposed作为输入自不必说，因为这是最终需要增强的图片，然后over exposed的图像作为输入首先肯定是为了更多的场景考虑，换句话也可以说是不同的light level，或者理解成data augment？同时，暗光增强是需要输出视觉质量高，这肯定包括了不过曝，增加了数据的类型，能够让网络学习到更多信息。
Retouching module和Dataset
Retouching modul
最低0.47元/天 解锁文章
扫一扫
4882
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
