Robust Real-world Image Enhancement Based on Multi-Exposure LDR Images 低光图像增强论文记录

Robust Real-world Image Enhancement Based on Multi-Exposure LDR Images论文记录

WAVC会议
LDR：low-dynamic-range images 低动态范围图片。
the prior arts :现有技术/现有工作
End-to-End image signal processing (E2E-ISP) ：端到端图像信号处理
warp：扭曲
In the ideal scenario：在理想情况下
over-exposed：过曝

摘要

动机：

由于输入图像之间的意外不一致性（例如大运动或各种曝光），从多曝光低动态范围（LDR）图像进行鲁棒的真实世界图像增强是一项具有挑战性的任务。
（introduction里的）大多数相机只拍摄动态范围有限的照片。为了满足人类的视觉需要，需要生成具有高动态范围（HDR）的图像。有两个挑战：1.前景对象（objects）的运动 （夜光更不利于前景对象的运动）2.输入图像之间的各种曝光（这使得算法很难补偿丢失的信息内容）

方案

一种新的端到端图像增强网络来解决问题。(第一个提出端到端网络解决理具有多曝光输入图像的ISP的工作）
在从LDR图像中提取上下文信息之后，设计了一个新的匹配容器，通过考虑输入图像之间的运动和曝光差异来对齐它们。
利用具有扩张卷积的堆叠沙漏来将匹配的特征图聚集到最终增强图像。
设计了一个弱监督的成对损失函数来评估增强图像中的颜色一致性。

3 方法

给定x1，x2…xn个不同曝光的输入，EMVNet输出单个增强图像Y。特征提取模块：每个输入通过权重共享的RRDB模块进行特征提取提取关键信息。特征匹配模块：运用匹配容器来监督这些特征之间的一致性，并处理运动和曝光的变化。聚合模块将聚合匹配容器的输出特征图，并将其转换为最后的输出Y。

3.1特征提取模块

使用RRDB残差密集块作为特征提取模块的基本单元，将几个RRDB块按顺序组织起来，作为最终的特征提取器。应用于输入图像X1、X2、Xn，以生成特征图F1、F2、…、Fn。

3.2特征匹配模块

key idea：给定特定的运动矢量和特定的曝光差异，参考图像reference image和其他输入图像之间的相关性是什么？
特征提取模块的输出特征F1、F2、…、Fn作为特征匹配模块的输入，M1…Mn是对应输入特征F1…Fn的运动动作，E1…En是~~对应输入特征的不同曝光，~~是与参考帧Iref相比的特定曝光差，

C is the alignment function对齐函数。We compare these
aligned feature maps F‘i,m,e with the feature map of the reference frame Fref to generate a correlation Oi,M,E.将特征 F‘i,m,e和参考图像帧对比得到相关性Oi,M,E
对比操作：

匹配容器得最后输出Fmv就是将Oi,M,E，i=1…n的cancat的结果
C（Fi,M,E）对齐函数,分为两步。
第一步是用运动M扭曲特征图Fi。
第二步是将曝光E乘以扭曲的特征图。
(在理想情况下，如果没有过度曝光区域，那么曝光E乘以扭曲的特征图等同于参考图像，但在大多数真实世界的LDR图像中，总会有一些过度暴露的区域。因此，我们从输入图像中添加一条边路径以提取以下信息：
哪个输入图像更好地用作参考图像Iref；过度暴露区域掩模(它可以通过对输入图像的每个通道设置阈值来生成。该掩模将用作对准函数C（Fi，M，E）中的权重掩模。当将曝光E乘以特征图时，如果输入图像中的像素饱和，则相应的相乘也将被阈值化。))
匹配容器不仅考虑到运动，还考虑到了曝光差异

3.3特征聚合

从Fmv中聚合多尺度上下文信息，我们采用堆叠沙漏结构，其中3个沙漏按顺序堆叠，如图4所示。每个沙漏由6层组成，前三层是步长为2的3D卷积层，后三层是比例因子为2的三维反卷积层。由于图像增强需要全局上下文信息，我们使用扩张卷积代替标准卷积来进一步增加感受野。随着沙漏的加深，扩张因子增加。我们从前两个沙漏中提取中间输出Y′′，Y′。这两个输出在training使用。在test，仅使用最终输出Y。

4 implemention

4.1 弱监督损失函数

l1 l2损失函数，对于3通道RGB图像，它可能会导致某些区域的颜色失真，包括强度顺序扭曲的问题（理解为亮和暗这个顺序被扭曲，较亮的区域经过$L1或者$$L2$损失函数会变成较暗区域，如有不对，请指正）。为了解决这个问题，提出了一个分别针对像素和patches块的成对弱监督损失函数Ls。给定像素对（i，j），像素损失函数$L_{s,pix}$,鼓励输出图像中的对应像素对具有与地面真实图像相同的强度顺序,如下所示 ：

$$P_{ij}=-r_{ij}\left(\log \left(I_i\right)-\log \left(I_j\right)\right)$$ $I_i是输出增强后图片像素点i的强度，$$I_j是GT像素点j的强度，$$r_{ij}是强度指示标。如果i像素点比j像素点更亮，$$r_{ij}$=1,否则=-1。
同理，作者提出基于patch块的损失函数，

4.2 基于GAN对抗网络的学习

使用ESRGAN，将EMVNet作为生成器，损失函数：
$Lc$图片内容损失函数，$Lp$感知质量损失函数，$La$对抗损失，$Ls$弱监督损失函数

##实验
数据集基于Google HDR数据集生成合成数据，由3640个具有DNG格式的原始组成。

还是非常稳的。

感觉有提升，每个模块，提升不是很明显。第一次读结合低光增强和运动差异的文章记录。