EnlightenGAN 论文阅读笔记

• 这是一篇低光照图像质量增强的论文。
• 模型的结构是这样的：总的来说还是遵循GAN的框架的，Generator是一个Unet，然后有两个discriminator，其中一个对全局做，一个对局部的patch做
• 
• 在此框架上，模型有两个亮点：Self Feature Preserving Loss 和 Self-Regularized Attention

Self Feature Preserving Loss

• 因为没有成对图像监督训练，为了避免网络修改图片内容，将增强前后的图片送进VGG提取特征，然后对两个特征的距离进行惩罚。其实就是将有监督GAN的perceptual loss 用自监督的方式使用了。之所以这么做还有个理由，文章提到说，VGG的这个特征提取，好像对亮度不敏感。
• 该 loss也是既对局部也对全局做，因此有两个。总的loss如下：
• 

Self-Regularized Attention

• 其实就是网络结构图中与图片一起concatenate的attention map，这个map就是$1-I$，其中$I$是归一化后的图片亮度，因此越亮的地方注意力越小，越暗的地方注意力越强。简单但是有效。

---

• 此外注意到后面的实验中提到，对exdark中的图片用 ElightenGAN 增亮后再进行图像分类，准确度提高了1%