CameraSR----Camera Lens Super-Resolution个人笔记

Chang Chen, Zhiwei Xiong, Xinmei Tian, Zheng-Jun Zha, Feng Wu; Camera Lens Super-Resolution,The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 1652-1660

---

一、简介

概述：现有的单幅图像超分辨率(SR)方法通常采用双三次或高斯下采样等综合退化模型进行评估。本文从相机镜头的角度研究SR，即CameraSR，旨在缓解现实成像系统中分辨率(R)与视场(V)之间的内在权衡。具体地说，我们把R-V退化看作是SR过程中的一个潜在模型，并学习用现实的低分辨率和高分辨率图像对来逆转它。

贡献：

• 一个新的视角，即，相机镜头的R-V退化，用于现实成像系统中的SR建模。

• 在City100中，有两种新的获取LR-HR图像对的策略，分别用于描述单反相机和智能手机相机下的R-V退化。

• 利用实际数据对常用的合成退化模型进行定量分析。

• 一种有效的解决方案，即CameraSR，用于在现实成像系统中促进现有的基于学习的SR方法。

二、主要内容

文章思路清晰，验证充分。

1、R-V退化->定义问题

    缩小镜头可以得到更大的FoV（视野），但这是以物体分辨率下降为代价的。将这种R（分辨率）-V（视野）退化表示为，我们的目标是获得一个函数S(·)，该函数对真实图像SR反转：

 

2、数据获取->解决问题

明信片的平面形状保证了在小孔径下，长焦和短焦都能很好地聚焦，避免了外焦模糊。因此将明信片作为目标。

    2.1 DSLR imaging system

    我们将在55mm焦距下捕获的图像定义为HR真值，将在18mm焦距下捕获的图像定义为LR观测值。为了减轻噪声的影响，将ISO值设置为最低。由于焦距的变化是一个无法理想控制的机械过程，会有严重的不对齐问题：空间不对齐、强度变化和颜色不匹配。

• 将空间错位建模为全局二维平移： 计算并匹配了HR图像和插值LR图像之间的SIFT关键点，然后估计单应性矩阵，最后对LR图像进行变换得到对齐的图像

• 将强度变化模型化为图像直流分量的偏置，并通过对整幅图像的像素强度进行平均估计。

• 将颜色不对齐建模为参数非线性映射，并利用颜色棋盘将其与多项式参数进行拟合来校准。就是拟合R\G\B三通道值的映射关系式

    2.2  Smartphone imaging system

    将近距离拍摄的图像定义为HR ground truth，远距离拍摄的图像定义为LR observation。将每个场景重复捕获20次，并对得到的图像进行平均，以减轻噪声的影响。

3、退化模型分析->分析问题

 

3.1  LR observation

    不同退化模型得到的低分辨率观察图像间的差别较大。

3.2  SR result

    虽然高斯下采样与真实LR观测在红点处的退化程度相匹配，但高斯sr的重建精度与摄像机相比仍有一定的差距。揭示了合成退化模型的缺点。

4、问题应用

4.1  Advanced digital zoom 

    我们的主要目标是减轻R-V权衡，甚至打破现实成像系统中光学镜头的物理变焦比，我们现在演示CameraSR实现了这一目标。当同一台单反相机的变焦镜头在55mm焦距达到最大放大率时，CameraSR能够进一步提高所捕获图像的分辨率

4.2  Generalizability

• the content generalization：City100数据集是在只有单一主题类别，然而，在City100上训练的camerasr模型在不同主题的室内和室外环境中都表现得很好

• the device generalization：在iPhone X版本的City100上训练的CameraSR模型可以很容易的应用到不同的智能手机上，如华为P20和三星S9。