Chang Chen, Zhiwei Xiong, Xinmei Tian, Zheng-Jun Zha, Feng Wu; Camera Lens Super-Resolution,The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 1652-1660
一、简介
概述:现有的单幅图像超分辨率(SR)方法通常采用双三次或高斯下采样等综合退化模型进行评估。本文从相机镜头的角度研究SR,即CameraSR,旨在缓解现实成像系统中分辨率(R)与视场(V)之间的内在权衡。具体地说,我们把R-V退化看作是SR过程中的一个潜在模型,并学习用现实的低分辨率和高分辨率图像对来逆转它。
贡献:
-
一个新的视角,即,相机镜头的R-V退化,用于现实成像系统中的SR建模。
-
在City100中,有两种新的获取LR-HR图像对的策略,分别用于描述单反相机和智能手机相机下的R-V退化。
-
利用实际数据对常用的合成退化模型进行定量分析。
-
一种有效的解决方案,即CameraSR,用于在现实成像系统中促进现有的基于学习的SR方法。
二、主要内容
文章思路清晰,验证充分。
1、R-V退化->定义问题
缩小镜头可以得到更大的FoV(视野),但这是以物体分辨率下降为代价的。将这种R(分辨率)-V(视野)退化表示为,我们的目标是获得一个函数S(·),该函数对真实图像SR反转:
2、数据获取->解决问题
明信片的平面形状保证了在小孔径下,长焦和短焦都能很好地聚焦,避免了外焦模糊。因此将明信片作为目标。
2.1 DSLR imaging system
我们将在55mm焦距下捕获的图像定义为HR真值,将在18mm焦距下捕获的图像定义为LR观测值。为了减轻噪声的影响,将ISO值设置为最低。由于焦距的变化是一个无法理想控制的机械过程,会有严重的不对齐问题:空间不对齐、强度变化和颜色不匹配。
-
将空间错位建模为全局二维平移: 计算并匹配了HR图像和插值LR图像之间的SIFT关键点,然后估计单应性矩阵,最后对LR图像进行变换得到对齐的图像
-
将强度变化模型化为图像直流分量的偏置,并通过对整幅图像的像素强度进行平均估计。
-
将颜色不对齐建模为参数非线性映射,并利用颜色棋盘将其与多项式参数进行拟合来校准。就是拟合R\G\B三通道值的映射关系式
2.2 Smartphone imaging system
将近距离拍摄的图像定义为HR ground truth,远距离拍摄的图像定义为LR observation。将每个场景重复捕获20次,并对得到的图像进行平均,以减轻噪声的影响。
3、退化模型分析->分析问题
3.1 LR observation
不同退化模型得到的低分辨率观察图像间的差别较大。
3.2 SR result
虽然高斯下采样与真实LR观测在红点处的退化程度相匹配,但高斯sr的重建精度与摄像机相比仍有一定的差距。揭示了合成退化模型的缺点。
4、问题应用
4.1 Advanced digital zoom
我们的主要目标是减轻R-V权衡,甚至打破现实成像系统中光学镜头的物理变焦比,我们现在演示CameraSR实现了这一目标。当同一台单反相机的变焦镜头在55mm焦距达到最大放大率时,CameraSR能够进一步提高所捕获图像的分辨率
4.2 Generalizability
-
the content generalization:City100数据集是在只有单一主题类别,然而,在City100上训练的camerasr模型在不同主题的室内和室外环境中都表现得很好
-
the device generalization:在iPhone X版本的City100上训练的CameraSR模型可以很容易的应用到不同的智能手机上,如华为P20和三星S9。