- 这是一篇低光照图像质量增强的论文。
- 模型的结构是这样的:总的来说还是遵循GAN的框架的,Generator是一个Unet,然后有两个discriminator,其中一个对全局做,一个对局部的patch做
- 在此框架上,模型有两个亮点:Self Feature Preserving Loss 和 Self-Regularized Attention
Self Feature Preserving Loss
- 因为没有成对图像监督训练,为了避免网络修改图片内容,将增强前后的图片送进VGG提取特征,然后对两个特征的距离进行惩罚。其实就是将有监督GAN的perceptual loss 用自监督的方式使用了。之所以这么做还有个理由,文章提到说,VGG的这个特征提取,好像对亮度不敏感。
- 该 loss也是既对局部也对全局做,因此有两个。总的loss如下:
Self-Regularized Attention
- 其实就是网络结构图中与图片一起concatenate的attention map,这个map就是 1 − I 1-I 1−I,其中 I I I是归一化后的图片亮度,因此越亮的地方注意力越小,越暗的地方注意力越强。简单但是有效。
- 此外注意到后面的实验中提到,对exdark中的图片用 ElightenGAN 增亮后再进行图像分类,准确度提高了1%