WESPE的论文与代码心得（1）

目录

论文心得

1总体概述

2模型结构

 3神经网络结构

---

因为做毕设的时候需要借鉴WESPE的模型。因此阅读了WESPE的论文与代码，并再次做个总结。

论文心得

1总体概述

WESPE: Weakly Supervised Photo Enhancer for Digital Cameras论文。这篇论文主要的目的是将有限功能的相机拍摄的照片转换成DSLR质量的照片。我还阅读了之前的一篇论文DPED：DSLR-Quality Photos on Mobile Devices with Deep Convolutional Networks，这篇论文的目的也是将DSLR相机拍出的照片作为target，通过网络使其学习到一个映射函数，希望手机能拍出相机照片的效果，但是此算法在源图像和目标图像存在强的对应匹配关系，即需要强监督学习。而WESPE这篇论文克服了这个问题，它使用弱监督的照片增强器，建立了一种新的图像到图像的GAN，因此无需和低端质量图像相关的高质量监督数据。

此方法主要从三个方面优化图片：(1) Style transfer 图像风格转换(2) Image restoration图像恢复 (3) General-purpose image-to-image enhancers通用图像增强器

其主要运用了两个方面：i) transitive CNNs to map the enhanced image back to the space of source images so as to relax the need of paired ground truth photos and ii) loss functions combining color, content and texture loss to learn photorealistic image quality

2模型结构

可以参考：https://blog.csdn.net/Jerry_Leo_liu/article/details/80065821（主要讲了模型结构）

和https://blog.csdn.net/qq_29595303/article/details/96458855

 在经过G生成y~后求一个Ltv（total variation loss），为了使生成的增强图像尽量平滑。

 3神经网络结构

如上图所示，整个结构是一个GAN，生成网络G是一个全卷积网络，有残差模块，bn组成，将手机的拍摄图片输入，输出改善的图片。生成网络的输出和目标图经过高斯模糊作差得到颜色损失，G的输出做梯度得到tv损失，两图输入判别网络，做纹理损失；原图像和G2生成的图像输入vgg取中间层特征做内容损失。