大家好,这是专栏《计算摄影》的第四篇文章,这一个专栏来自于计算机科学与摄影艺术的交叉学科。今天我们讨论的问题是关于深度估计和景深编辑。
作者&编辑 | 言有三
1 景深与背景虚化基础
1.1 什么是景深与虚化
动植物摄影,人像摄影中常使用浅景深来虚化背景,突出目标主体,可以大幅提升作品的艺术美感。
当被摄物体位于镜头前方(焦点的前、后)一定长度的空间内时,其在底片上的成像位于同一个弥散圆之间,呈现给人眼的感觉就是成像清晰,这段空间的长度即为景深,也称DOF (Depth of Field),当超过景深范围时,呈现渐渐模糊,景深范围示意图如下。
如果景深范围比较窄,很容易拍摄出主体成像清晰,背景成像模糊,即我们常说的背景虚化效果,下图展示的就是一些典型代表。
1.2 景深编辑
目前要想对拍摄后的照片进行精确的景深编辑,需要使用到光场相机,它在拍照整个过程中记录了物体在空间中传播时的信息流数据,从而可以后期进行焦点的调节。而普通的数码相机则没有保留相关信息,聚焦后聚焦区域中央部分是清晰的,边缘部分是模糊的。
那么如何对普通相机拍摄的照片进行后期的景深编辑呢?就需要重新对图片中的目标进行深度估计,以Focos应用为例,它可以实现先拍照后对焦,实现景深的任意编辑,连续两年获得AppStore精选推荐。
它在最初的时候利用iPhone的多镜头设计,在拍摄时得到3D模型,后期进行编辑合成景深效果,还可以添加模拟光源照明。升级后的版本支持对任意的照片进行景深模拟,不限定于iPhone拍摄好的照片,如下图展示了使用Focos处理一张照片的效果。
从左到右第一张图为原图,第二张图为景深估计的效果,第三张图为将光圈调至最大,即编辑景深的效果,实际上就是根据深度信息得到前景目标后,对背景进行虚化,所以其中关键问题就是深度估计。
2 基于深度学习的深度估计
从上一节我们可以看出,要想做后期的景深编辑,就必须要先完成深度估计这个问题,深度估计在非深度学习时代,通常是通过多目立体视觉的方法来获取,如今则多采用深度学习模型,下面我们从三个方面来说说这个问题。
2.1 绝对深度估计模型与数据集
带有绝对深度信息的数据集非常多,其中最具有代表性的有2个,分别是NYUv2数据集[1],KITTI数据集[2]。
NYUv2数据集是室内深度预测数据集,使用Kinect深度相机采集,包含3个城市,464个场景,1449幅对齐的RGB图像和深度图,其中深度的范围是0~10m,另外还数据集还提供语义和实例标签,下图是案例图。
NYUv2数据集的主要问题是场景有限且内容比较杂乱,没有明显的人等目标主体。
KITTI深度预测数据集是室外行车道路数据集,使用激光雷达采集,包含93000对RGB图和深度图,其深度范围是 0~70m。KITTIes数据集的主要问题是场景全部为室外道路,比较单一,只适合研究自动驾驶等相关问题。
深度估计模型的输入是彩色图,输出是单通道的灰度图,这与分割问题类似,可以直接使用编解码模型来进行预测。
早期研究者[3]使用CNN模型进行深度估计时都会使用跳层连接等方法融合多尺度的特征,如下图所示。
使用了两个尺度的特征,上面的通道为全局尺度,下面的通道为局部尺度。全局尺度估计出粗粒度深度预测结果图Coarse,与局部尺度融合后再估计最终的细粒度深度预测结果图Fine。
对于这样的模型的改进,可以有许多方向,包括:
(1) 使用具有更强表达能力的特征提取模型,比如使用VGG模型代替AlexNet模型。
(2) 使用更多的尺度进行融合。
(3) 使用多任务联合训练,将深度预测,表面方向预测,图像分割等任务同时进行学习,由于图像分割任务具有高层语义的感知能力,所以可以提升深度预测结果对于语义目标信息保持的能力。
(4) 后处理。比如使用在语义分割领域中常被使用的条件随机场模型(CRF)与CNN模型结合来提升精度。
2.2 相对深度估计模型与数据集
真实的深度数据集采集具有较高的难度,如NYUv2数据集和KITTI数据集等场景很有限,基于它们训练的模型泛化能力较差,如果想采集到类似于ImageNet等具有足够丰富场景的深度数据集需要极其昂贵的代价。考虑到图片中的点与点之间具有相对远近关系,有研究者构建了相对深度数据库DIW(Depth in the Wild)[4],它使用随机的关键词从flickr网站中爬取图片,不需要使用深度摄像头采集设备来对每一幅图采集深度。
相对深度的标注方法为通过对图像点进行采样,每一张图都采样一对点,这一对点采用随机选择或以随机水平线作为约束来进行选择,最终的数据集中随机选择和约束选择各占一半,从而满足自然场景的随机性。两个采集的点之间具有相对远近关系,将其标注为这一对点的相对深度,最终得到了包括495000个训练样本的大型数据集,下图分别展示了标注案例和结果。
相对深度估计模型[4]依旧可以是编解码模型,其不同之处在于损失函数。
假如图片为I,进行K次采样,每一次采样为{ik,jk,rk},其中ik是第一个点的位置,jk是第2个点的位置,rk是它们之间的深度关系,rk取值范围是{+1,-1,0},z是深度预测图,zik,zjk是点ik和jk的深度,损失定义如下:
这实际上就是一个排序损失,它鼓励隔的近的点之间的差值小,反之则大。
2.3 深度估计模型的展望
基于绝对深度数据与相对深度数据的监督模型相对简单,而实际上由于大规模深度数据集的缺乏,无监督[5],半监督[6]的单目图像深度估计方法是更有学术价值的研究方向。
另外,真实的摄影图像中因为浅景深常常包含离焦模糊,导致深度预测模型泛化到真实摄影图像时效果不好。由于深度信息与成像的模糊情况是有关的,因此有许多方法尝试从对焦模糊信息中恢复深度,这些我们以后会专题介绍。
[1] Silberman N, Hoiem D, Kohli P, et al. Indoor segmentation and support inference from rgbd images[C]//European conference on computer vision. Springer, Berlin, Heidelberg, 2012: 746-760.
[2] Uhrig J, Schneider N, Schneider L, et al. Sparsity invariant cnns[C]//2017 International Conference on 3D Vision (3DV). IEEE, 2017: 11-20.
[3] Eigen D, Puhrsch C, Fergus R. Depth map prediction from a single image using a multi-scale deep network[C]//Advances in neural information processing systems. 2014: 2366-2374.
[4] Chen W, Fu Z, Yang D, et al. Single-image depth perception in the wild[C]//Advances in neural information processing systems. 2016: 730-738.
[5] Garg R, BG V K, Carneiro G, et al. Unsupervised cnn for single view depth estimation: Geometry to the rescue[C]//European Conference on Computer Vision. Springer, Cham, 2016: 740-756.
[6] Kuznietsov Y, Stuckler J, Leibe B. Semi-supervised deep learning for monocular depth map prediction[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 6647-6655.
总结
深度估计和景深编辑涉及多个领域的知识,在摄影美学作品的创作和编辑中有重要意义,这是一个非常值得关注的有意思的应用领域,更多计算摄影内容学习可以参考有三AI秋季划-图像质量组。
有三AI秋季划-图像质量组
图像质量小组需要掌握与图像质量相关的内容,学习的东西包括8大方向:图像质量评价,图像构图分析,图像降噪,图像对比度增强,图像去模糊与超分辨,图像风格化,图像编辑,图像修复。了解详细请阅读以下文章和视频:
【杂谈】如何让2020年秋招CV项目能力更加硬核,可深入学习有三秋季划4大领域32个方向
转载文章请后台联系
侵权必究
往期精选