CVPR 论文阅读1：图像检索、深度感知测量方法：The Unreasonable Effectiveness of Deep Features as a Perceptual Metric-2018

The Unreasonable Effectiveness of Deep Features as a Perceptual Metric（深度特征作为感知度量的无理由的效应）

目录

相关连接

论文解读

论文主要贡献

论文提出的数据集

论文提出的感知相似度度量方法

具体在网络中的实现

基于学习的相似度得分函数

实验数据

结论

论文精读

 

相关连接：

项目主页： http://richzhang.github.io/PerceptualSimilarity/

论文连接：https://arxiv.org/pdf/1801.03924.pdf

github连接：

      PyTorch版本：https://github.com/richzhang/PerceptualSimilarity

      TensorFlow版本：https://github.com/alexlee-gk/lpips-tensorflow

 首先解释一下为什么是 "Unreasonable Effectiveness" ，论文强调在监督，自监督，无监督模型上得到的深度特征在模拟低层次感知相似性上都比以往广泛应用的方法（L2， SSIM e.g.）要表现更好,且适用于不同的网络结构（Squeezenet, AlexNet , VGG），因此这里是"Unreasonable Effectiveness"。

感知结果：

图片显示基于学习的感知相似度度量比传统的目前广泛应用的方法更符合人类的感知。（L2/PSNR, SSIM, FSIM属于目前广泛应用的度量方法，Random Networks效果不理想是因为未经训练）

论文解读：

论文主要贡献：

1. 介绍了一个大范围，高差异性的感知相似性数据集。包含484K个人类的判断。我们的数据集不仅包含参数化的变形，也包含算法导致的变形。我们收集了不同的感知测试的评价结果，得到了不同的结果。
2. 证明了在监督，自监督，无监督模型上得到的深度特征在模拟低层次感知相似性上都比以往广泛应用的方法要表现更好。
3. 证明了不单单是网络结构导致了良好的表现：一个没有训练过的网络变现很差。
4. 在论文的数据上，通过标定与训练网络的特征反应提升了其效果。

论文提出的数据集：

Berkeley-Adobe Perceptual Patch Similarity (BAPPS) Dataset，包括两个部分：2AFC和JND.

• 包含484K个人的判断。

• 不仅包含参数化的变形，也包含算法导致的变形。