Perceptual Losses对SR论文阅读笔记

原论文链接如下：https://arxiv.org/abs/1603.08155

• 论文主要观点就是，对loss计算方式的改进，原来多数基于per-pixel的loss计算，而论文提出两种loss：feature reconstruction loss和style reconstruction loss，由于SR只涉及feature loss，所以另一个暂时先不讲
• feature reconstruction loss 其实就是，把预训练好的VGG-16（基于图像分类）的前几层取出来作为特征提取器fai，HR图片作为y，LR图片作为x，SR模型作为f，那么loss就是fai（f（x））和fai（y）的差：
  
  
• 训练的时候，fai是不更新的，只更新f，而f可以是SRCNN等模型，都可以，论文主要提出的是一种perceptual loss，由于PSNR的度量性并不是很好，使用这种loss训练出来的模型输出的PSNR值不高，但是会比较清晰，而且由于feature loss中包含语义信息，能一定程度上识别哪里是背景哪里是焦点，然后焦点能变清晰而背景智能地不去处理，焦点的边缘信息能够很好地sharpen