Low-light images enhancement/暗光/低光/微光增强系列：Attention-guided Low-light Image Enhancement（详解）

以下文字为博主翻译并添加了自己的理解，斜体为博主自己的想法，若有出错请指出。

摘要

暗光图像增强需要同时有效地处理颜色、亮度、对比度、伪影和噪声等多种因素。本文提出了一种新颖的注意力引导增强方案，并在此基础上构建了 端到端多分支（multi-branches） CNN。该方法的关键是计算两个注意力图来分别指导曝光增强和去噪任务。第一个注意力图区分曝光不足的区域和光照较好的区域，而第二个注意力图区分噪音和真实纹理。本论文的方法还能增强暗光图像缺失的对比度。论文还提出了一种创建合成暗光图像的数据集的方法。

---

Introduction

暗光图像质量退化严重，相比正常曝光图像，细节丢失严重，颜色失真，噪点多，对于现实中的高级视觉任务性能有严重影响。基于HE（直方图均衡）的方法和基于RETINEX的传统方法都不能很好地解决暗光增强的问题，而且这些方法常常忽视去噪。
在之前的研究中，有先去噪，再增强的流程；也有先增强，再去噪的流程。但是前者导致图像变得模糊，后者会放大噪点。而本文的方法，将增强和去噪同时进行，能够有效地避免以上问题。
本文最主要的贡献列为三点：

• 设计了注意力图为引导的多分支融合网络，能够同时进行去噪和增强
• 设计了一套高质量的暗光图像训练流程，创建了一个大规模的成对的合成的暗光图像数据集
• 研究成果表明，方法达到了SOTA

---

related work

• 一些基于HE（直方图均衡）的方法单纯扩大了图片的动态范围，但是并没有考虑光照因素，只是关注图片的对比度，会导致增强过多或者增强不足的问题。
• 一些传统的基于RETINEX的方法，依赖人工调整参数，同时噪声处理方面不尽人意。
• 一些基于现有深度学习（deep learning）的方法，已经在性能上相比传统方法提升很多，但是很多没有仍旧没有考虑去噪，或者依赖的是传统方法的去噪，这与本文不同，本文特别考虑了去噪这一任务，这是对现有基于深度学习方法的重要补充。
• 本文还介绍了一些现今流行的去噪方法，同时指出只有同时进行增强和去噪，才能最好地提升图片质量，避免模糊等情况发生。

---

datasets

作者在一些已有的大型数据集中，以darkness estimation、blur estimation和color estimation三个指标来选择一些符合要求的高质量图像，这些图像一部分中的965张，作为测试集和ground truth，并使用包含22656张图像的数据平衡子集（data-balanced subset）作为训练集。
然后，作者通过线性伽马变换，将正常曝光图像有效地、近似的合成为暗光图像，之后对训练集进行gamma线性变换得到合成的暗光图像，同时模拟相机处理图像程序，利用高斯泊松混合模型生成噪声，得到最终的合成的有噪声的成对的暗光训练集。详细方法请见论文。
值得一提的是，如果单纯使用高质量的图像作为GT来回归，得到的输出图像对比度会降低，具体参见：MBLLEN:Low-light ImageVideo Enhancement Using CNNs，所以作者提出要使用多分支的融合方式来增强图像，恢复其对比度。
我自己感觉，本文的多分支融合，实际上类似通道加权，将学习到的特征全都考虑进去。