论文阅读笔记 UGNet: Underexposed Images Enhancement Network based on Global Illumination Estimation

摘要

文章提出了一个新的神经网络对曝光不足的图片增强。与基于Retinex算法的分解方法不同，文章引入平滑扩张卷积去估计输入图像的全局亮度。提出联合内容，颜色，纹理，和平滑度的联合损失函数。

背景介绍

pass

方法详述

UGNet 可以分为两个部分，全局亮度估计网络，和细节增强网络。文章还详细说了多项损失函数的细节。

A 全局亮度估计网络

当前的一些增强网络通常会通过pooling，下采样或者多尺度连接来得到大范围的上下文信息和全局亮度信息。但是，一方面，对于密集的预测任务，多尺度上下文信息的收集需要扩大感受野。另一方面下采样会损失空间信息。
为了解决这个问题，文章用平滑扩张卷积来估计全局亮度信息。所谓的平滑扩张卷积由 分开共享的卷积层和扩张卷积层组成。扩张卷积可以覆盖更多的临近像素，而且不会产生像下采样那样的细节损失。对于扩张卷积造成的网格伪影，分开共享的卷积层可以来解决这个问题。在扩张卷积之前插入分离共享卷积。

如图一所示，UGNet是一个类似自编码器的结构；
注：（BN适用于判别模型中，比如图片分类模型。因为BN注重对每个batch进行归一化，从而保证数据分布的一致性，而判别模型的结果正是取决于数据整体分布。但是BN对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布；IN适用于生成模型中，比如图片风格迁移。因为图片生成的结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，在风格迁移中使用Instance Normalization不仅可以加速模型收敛，并且可以保持每个图像实例之间的独立。）

B 细节增强部分

前面的亮度估计网络产生全局视角，恢复低亮度区域。但是还有一些问题。比如不充足的曝光带来的颜色失真。用三个卷积层来实现这个功能

C 损失函数

MSE不适合这个任务的损失，所以重新设计了损失函数，包括4个部分，颜色质量，内容质量，结构质量和噪声质量。这个部分没什么看头 pass

思考

文章的两个方面值得借鉴 扩张卷积与 IN