CVPR2019】Camera Lens Super-Resolution

city100数据集已经开源了～在他们arxiv的版本里有链接～https://github.com/ngchc/CameraSR

中科大团队提出的相机镜头超分辨率在CVPR2019亮相。今年在CVPR中亮相的SR文章有16篇之多，大概大家都开拓“改进模型结构来提升PSNR”之外的赛道，旷视的Meta-SR聚焦在非整数倍尺寸放大的SR。而CameraSR聚焦在相机拍摄的超分辨率。
这篇文章面向相机进行超分辨率，这很容易让人联想到前段时间的华为P30，号称能拍摄月球，但不过是用超分辨率代替拍摄来“糊弄”用户，不过这种SR操作的手机拍照很难被用户察觉。
所以， CameraSR的存在，可以拯救CMOS传感器的物理局限，用山寨机也能拍出单反的感觉。不可说没有意义！

---

R-V degradation

这是本文最大的可圈可点之处，提出了一种更为现实的图像对方法。首先，你要知道什么是图像对：

超分辨率(SR)模型训练需要喂入“高分辨率(HR)/低分辨率(LR)”图像对作为数据，HR相当于SR模型的label，而LR相当于SR模型的输入。所以，图像对是超分辨率模型的样本。

之前的超分辨率图像的图像对都是怎么获得呢？都是先获得高分辨率图像，再通过池化等下采样操作得到对应的低分辨率图像，以此构成图像对。
这么做有个非常明显的优势：省时省力，数据易得
有过不少文章探讨如何下采样得到图像对来提升SR的效率。然而，这篇文章，提供了全新的获得图像对的思路，即R-V degradation。
不要被这个高大上的英语名词吓到了，就是很简单的意思：
R代表分辨率，V代表视野域，我让相机的视野域越广，是不是代表它视野中的物体分辨率更小呢？如果我让相机对某个小物体放大拍摄，是不是它的视野域就很小而这个小物体具有更大的分辨率呢？
用一张图来解释：

我们看图(a)：上图视野域更小，但物体具有更大的分辨率；下图视野域更大，但目标物体的分辨率很低，看不清楚。
我们再看图(b)：从图(a)获得，通过矫正。就获得了一个图像对！上图代表HR，下图代表LR。
到这里，我们可以get到CameraSR的点了：人家的LR图像不是通过对HR图像下采样得来的，而是真实摄取的。
作者获得了100个这样的图像对，整理出一个叫city100的数据集，不久应该会开源，感兴趣的可以关注一下。

---

总结

CameraSR让我们从图像对的方向重新思考SR。超分辨率需要模拟真实情况下的输入，如果直接从HR上通过算法获得的LR终究不是真实情况下的输入，所以在现实中的泛化能力有限。每年SR都是灌水的重灾区，在几个搞烂了的数据集上疯狂刷PSNR，然后当实际用到目标检测等领域的数据增强时，却发现没一个能打的。所以，超分辨率一定要结合实际，可用性是SR最重要的品质。
CameraSR给我们的提示是：SR也应该关注数据来源，需要在数据上下功夫

                                </div>