论文阅读笔记: Deep Photo Enhancer:Unpaired Learning for Image Enhancement from Photographs with GANs

本文主要是Deep Photo Enhancer:Unpaired Learning for Image Enhancement from Photographs with GANs的阅读笔记,加上自己对于图像增强、美化等的一些看法。

论文地址:Deep Photo Enhancer:Unpaired Learning for Image Enhancement from Photographs with GANs

在线demo:http://www.cmlab.csie.ntu.edu.tw/project/Deep-Photo-Enhancer/

GitHub:https://github.com/nothinglo/Deep-Photo-Enhancer  (还未公开代码)

任务:image enhancement 图像增强 

方法:将这一问题作为 image to image translation任务,使用two-way GAN 实现unpaid训练集进行训练

创新:global U-Net  + A-WGAN

前期介绍:

1. 什么是图像增强,有什么用?

我一直对图像增强、图像美化等概念理解的不是很清晰,包括一些英文术语image beautification\image retouching\image editing\image enhance \image manipulation

他们之间有交集也有一些区别,主要看具体场景,而且就图像美化来说,这个概念是很宽泛的。一般常用的一下ps等软件,我们都会用来进行图像编辑、图像润饰等,在我理解这可能会对图像的细节内容进行一些更改,如果说眼睛放大,去皱纹等,而且现在也有很多交互的软件可以完成这些任务。而很多时候由于场景的需要,我们是不想图像的内容发生改变而是改变图像的亮度、对比度等,使得图像看起来更加清晰、舒服、更能表达它自身的内容信息。这样我们会一般叫做图像增强。

文章在introduction里面有对于任务的意义阐述的是十分明了的:图像记录了我们生活的宝贵瞬间,随着手机摄像的流行,用户比以前更喜欢拍照。但是,当前的手机摄像头都有一定的限制,所拍摄的图片经常是存在噪声,并且在颜色和分辨率的范围都有一定的限制。而对于p图,专业的Photoshop、lightroom等软件,还需要一定的时间去使用,这时候图像自动增强模型就发挥了它的作用,图像增强方法尝试去进行颜色以及亮度等的修订。

2.以前常用的图像增强方法:

histogram equation、background suppressed fuzzy contrast enhancement (多用于CT图像)、log变换、grammer变换等

优点:简单、迅速

缺点: 还远远达不到人视觉上的美感、不能自适应、针对特定图像

3. image to image translation

文章将图像增强作为了一种图像翻译来进行处理,使用GAN做图像翻译,就我深刻的可能就是17年的两篇文章:pix2pix 和 cycGAN 。一个是paired,一个是unpaired,并且文章中有很多有趣的应用。

而这篇DPE是将GAN应用到图像增强上。大的方向也是不成对的数据集,进行训练,来解决成对数据集收集的困难这一问题。

4.具体文章细节

首先介绍一下文章涉及的网络结构







阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页