计算成像技术

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

1 计算成像技术简介

计算成像技术(Computational Photograpy)^[注]的目的是输出普通相机所不能够拍摄出的图片。2004年斯坦福大学计算成像课程以及2005年麻省理工专题讨论会上给出的定义是: 计算成像结合了大量的计算数字传感器现代光学激励器探测器以及巧妙的光线来摆脱传统胶片相机的限制，并且能够创造新颖的图像应用。

本文将计算成像总结为: 计算成像是利用计算机及软件方法，结合现代传感器、现代光学等技术创造出新型成像设备及应用的综合技术。计算成像包含的要素包括：计算机、现代传感器、现代光学以及改进成像流程的软件方法。以上要素不是单独孤立存在于计算成像的，它们之间是紧密联系相互协作的关系，计算成像技术通过在传统相机中加入以上元素来改进传统成像中存在的问题。

2 计算成像的研究内容

计算成像是一个正快速发展的新兴领域，计算成像研究的内容比较发散，目前还没有一个完整的分类方法，计算成像研究热点问题主要集中在高动态范围成像HDRI( high dynamic range imaging)图像清晰化( imagedeblurring)扩展景深( extended depth of field photography)光场( lightfield)等方面。在计算成像领域有很多不同的角度和不同的方法来解决上述问题，根据这些问题进行组织与分类并不能全面了解计算成像这个新兴领域。本文从计算场景、计算光学、计算传感器以及计算处理四个方面介绍计算成像技术研究内容。

2.1 计算场景

场景中光照对摄影有很大的影响，在进行摄影创作时往往会添加人造光源(闪光灯、外景灯)等来提升照片的艺术效果。计算成像技术则通过在场景中加入结构化的人造光源来计算场景中拍摄物体的特性，进而更好地展现所拍摄的场景

1) 闪光/非闪光图像

闪光/非闪光图像处理技术是在同一场景中连续拍摄一张闪光图像和一张非闪光图像，利用闪光图像和非闪光图像的特点，经过计算处理后获得一张高质量图像的技术。Petschnigg等人使用闪光图像辅助非闪光图像进行降噪处理得到一张柔和的清晰图像，如图1所示。

图1 闪光和非闪光图像

2) 用于深度边缘检测的多闪光相机

单幅图像提取拍摄物体的边缘通常是通过测算物体边缘的亮度变化得到的，然而物体与背景亮度以及颜色变化不大的情况下则很难测准物体边缘。计算成像技术可以利用不同位置的闪光照片在物体边缘产生阴影，从而对物体深度边缘进行检测。如图2所示为在4个不同的位置镜头的上下左右闪光拍摄4张照片，通过4张不同闪光位置的照片检测出边缘轮廓，并用于风格化场景，以及重要特征表示。计算场景技术与单纯的图像处理相比，是通过拍摄过程的改进来解决以往图像处理技术中的难题。

图2 用多闪光相机进行深度边缘检测和风格化渲染

3) 基于投影散焦的重聚焦

从单幅照片计算出场景中物体的深度信息是非常困难的。图3展示了投影结构光的图像深度图以及重新聚焦后图像。使用一个分光镜分离并对齐投影仪和照相机，然后用投影仪向场景中投射带有白点网格的格雷码样式光线。投影仪聚焦在场景中所有物体之后，当投影的光打在远处的物体上时白点就会越来越清晰锐利，反之，白点会变大并且失焦模糊。使用区域分割法分割出不同的区域后，利用打在各个区域上的白点大小可以评估出该区域物体深度。

图3 基于场景中投影稀疏点集散焦的重聚焦技术

4）抠图与场景合成

在摄影创作时常常需要对场景中某些元素进行后期加工，如在场景中添加主体、替换图像中不合适的部分使之更自然美观。计算成像技术研究中一个重要部分就是对场景中主体的提取以及场景的合成。为了弥补某些图像在拍摄时构图考虑不周详等因素带来的遗憾，图4所示为一种基于百万图像的场景合成方法。该方法通过在巨型数据库中搜索与待合成图像中缺失部分相似图像，利用图像合成方法进行场景合成获得完美图像。虽然这种方法消耗巨大的计算量，搜索时间较长，但它代表了计算场景的一个典型应用方向。

图4 使用巨型图像库进行场景合成

2.2 计算光学

计算光学是计算成像技术的一个重要研究内容。计算光学是对传统相机的原理以及拍摄过程的创新，计算光学通过对传统相机镜头、快门以及光圈等部件的结构以及工作过程的改进来提升相机的性能。传统相机的工作过程可以看做是对场景的一个持续编码，而这个编码过程的编码器是一个固定的编码器，在编码过程中会损失相当一部分的频域信息。计算光学可以看做是一种对上述编码过程的改造技术，通过对镜头快门以及光圈等部件的改造，提高编码器的带宽，从而使相机能够记录更多频域上的信息，进而提高相机的性能。

1）编码快门相机

传统相机拍摄运动物体时往往由于曝光时间长于安全快门导致物体运动模糊，如图5( b) 所示，运动模糊图像复原是一个著名的病态问题。计算成像在不提高光学元件性能的前提下，通过对相机快门工作过程的改造，更好地解决了运动模糊复原这一传统难题，如图5( a) 所示。这种相机在曝光过程中，镜头前面的快门会不停地开关动作，其开关的间隔时间是经过预先编码优化设计的这样的编码快门可以看成是一个宽带滤波器，使用这种相机拍摄的照片能够更多地保留场景的高频信息，并且将传统反卷积问题转换为良态问题( well-posedproblem)，从而恢复出清晰的照片，如图5(c)所示。

图5 编码快门相机

2）编码光圈相机

如图6所示为使用一个编码光圈替代传统光圈形成编码光圈相机。与编码快门类似编码光圈可以看作是将传统光圈改进成一个宽带滤波器。使用编码光圈相机拍摄的照片经过处理后可以得到高分辨率的全对焦图像和场景深度图。利用全对焦图像和场景深度图可以让用户在拍摄后选择对焦点进行重新对焦，如图7所示。

编码光圈相机拍摄的图像与传统相机拍摄的图像区别在于它拍摄的图像不能够直接用于显示，它需要利用光场原理恢复场景信息。设计更加合理的编码光圈和研究更有效的恢复算法是该方向的研究重点问题。相信在未来的家用相机中一定会出现编码光圈的身影。

图6 传统光圈与编码光圈

图7 利用全对焦图像与深度图进行重聚焦

3）基于微镜头阵列的光场相机

如何通过现有2D传感器获得4D光场是光场研究的首要问题。如图8a所示为在一个中画幅相机的主镜头与传感器中间加入一组微镜头阵列构成一个可以手持拍摄光场的相机。该相机拍摄的图像是光场通过多个微镜头组的重新组织与聚合该图像根据光场理论可以恢复出不同深度的重聚焦图像如图8b所示。随着每个微镜头下图像分辨率的线性增长重新聚焦的图像锐利度也呈线性增长。这种特性可以用来在不缩小光圈的情况下扩展图像的景深并且可以保证更短的曝光时间以及更低的图像噪声如图8c所示。

图8 基于微镜头阵列的手持光场相机

4) 可编程成像

可编程成像技术是在光学系统与传感器之间加入可编程控制器，通过对场景辐射量以及几何参数测量来改变光学系统特征的技术。通过制定不同的衰减模式，它可以实现传统相机不可能拍摄出的各种不同的新颖图像。

（1）自适应动态范围相机

自适应动态范围相机针对特殊场合动态范围变化较大情况下普通相机难以拍摄到清晰图像的问题（如图9（b）所示），在镜头前放置一块液晶面板作为反馈控制器（如图9（a）所示），对摄像机拍摄的图像分析后控制液晶面板进行反馈控制，进而达到自适应动态范围（如图9（c）所示。

图9 自适应动态范围相机及效果图

（2）数字微镜矩阵可编程相机

数字微镜矩阵可编程相机使用一块微镜矩阵作为控制器，通过对微镜矩阵镜子偏转角度的编程控制达到可编程成像的目的，如图10所示。该相机用于自适应动态范围成像特征检测以及目标检测等应用。

图10 数字微镜矩阵可编程相机

（3）无镜头可控光圈编程相机

无镜头可控光圈编程相机使用一个可控光圈代替传统的镜头成像(如图11所示)。因为没有镜头，光圈定义了场景和图像传感器之间的映射，这个可编程相机搜集整个视场中的光线。该相机可以改变光圈位置来观察不同方向的场景，避免传统相机改变视场方向要移动相机的问题；它还可以编程控制来分裂视场抓拍细分图像，细分图像每个部分对应一个不同方向的视场，这种功能可用于对某些特定目标进行重点跟踪。

图11 无镜头可控光圈编程相机

可编程成像技术可以实现很多有趣的功能，达到一机多用的效果。可编程成像技术有以下两个优点：用户可以根据需要来设定特定的功能；可以针对某种特定的应用开发最适合应用的视觉图像。但是从以上实例可以看出，可编程成像技术依然处于实验室研究阶段，在提升图像质量以及实用性方面还需要深入的研究。

5）压缩成像

压缩成像(compressed imaging)是Rice大学Richard Baraniuk和Helly领导的团队提出的新的基于压缩传感(compressed sensing)理论的成像机制。它利用一个数字微镜面阵列（DMD digital micromirror device ) 完成对场景的线性投影，每次线性投影得到的光线通过单个传感器完成光电转换，得到一个线性测量数据。通过远小于预成像分辨率的测量数进行测量并重建原始图像。重建图像的质量取决于测量数据的数量。

如图12所示，场景聚焦到DMD上，而DMD根据RNG random number generator 产生的伪随机模式将入射光线反射然后聚焦到单个传感器上，通过光电转换形成一个测量数据。而要最终成像需要利用多个测量数据重建原始图像。图13展示了对64×64的场景进行压缩成像的结果。

图12 压缩传感成像系统

图13 压缩成像图像

采用单像素传感器加DMD方案的压缩成像技术，一方面DMD成本相对于传统矩阵传感器的成本低；另一方面它所需的经光电转换得到的测量数要远小于预成像的分辨率，相对于单传感器扫面式的图像采集方法有速度快的优势。随着压缩传感技术的进一步成熟压缩成像必将会在特定的成像领域发挥重要作用。

6）多相机阵列

斯坦福大学构造了一个由128个640×480分辨率的摄像机组成的摄像机阵列用于捕获光场图像，如图14所示。该摄像机阵列可以看成一个合成孔径相机，这些相机拍摄的图像经过软件处理重新聚焦后可以穿透树丛及人群。多相机阵列在机场和火车站等人群密集区进行监控时，将发挥出其合成孔径优势，大大提高对可疑份子的追踪能力。多相机矩阵的研究多处于实验室研究阶段。

图14 使用剪切变形分解试图变换的合成孔径聚焦技术

2.3 计算传感器

计算传感器是使用计算机技术对传统传感器进行改进制造出新形式的传感器。传统图像传感器是由多个感光单元组成的2D传感器，单独使用2D传感器不能捕获4D光场。传感器计算技术试图通过设计新形式的计算传感器来捕获3D或4D信息。

1）Foveon X3直接图像传感器

传统的CCD或CMOS传感器通过将红绿蓝3色传感单元按照一定的顺序排列形成彩色图像。Foveon公司研发的X3直接图像传感器的每个传感单元垂直排列了红绿蓝3色传感元件（如图15所示）。光线经过每层传感元件会过滤掉相应颜色的光线，并记录该颜色光线强度。同等像素的X3图像感光器比传统CCD锐利两倍，提供更丰富的彩色还原度以及避免采用Bayyer Pattern传统感光器所特有的色彩干扰。另外，由于每个像素提供完整的3原色信息把色彩信号组合成图像文件的过程简化很多，降低了对图像处理的计算要求。在像素数量激增的时代Foveon X3传感器虽然在像素数量上与普通传感器相似，但获得的图像尺寸仅为普通传感器的1/3，这成为Foveon X3传感器推广的一个重要问题。

图15 Foveon X3直接图像传感器

2） 富士Super CCD SR高动态范围传感器

富士公司开发一种高动态范围传感器——超级CCD传感器（Super CCD SR）。该传感器在每个传感单元内放置2个不同敏感度的感光元件，如图16所示，每个感光单元有两重测量值，这些测量值经过内置芯片综合后输出一张高动态范围图像。

图16 富士超级CCD

3）Pixim DPS数字像素系统

PDS(digital pixel system) 数字像素系统是美国Pixim公司在斯坦福大学AbbaselGamal教授于20世纪90年代技术的基础上研发的一种新型图像传感系统。DPS技术在摄像机图像捕捉与处理领域掀起了巨大的变革。传统摄像机的每个像素无法根据同一场景中的强光和弱光进行调节，但DPS技术则可以使成千上万的像素像单独的摄像机一样运作，并可进行自我调节。DPS每个像素上都包含一个ADC（模数转换器），每个像素在捕捉到光信号时，ADC直接将光信号转换为数字信号并将其放大，最大限度地节省了无效的传输操作，使信号衰减和色度亮度串扰降低到最小，达到快速、低噪声的输出视频效果。DPS会自动消除影响成像质量的视觉噪声（如眩光反光），从而提供高分辨率、色彩清晰自然的图片。

图17 Pixim　DPS与CCD

4）DLP技术

DLP（digital lightprocessor）由DLP芯片以及周围精密电子元件构成。DLP芯片在1987年由德州仪器TI的Hornbeck博士发明。DLP芯片是世界上最精密的光开关。它包含一个多达200万个安装在铰链上的微镜矩阵（如图（18b）所示）；每个微镜的大小小于人头发丝的1/5。DLP芯片的微镜安装在微型铰链上，从而使其可以在DLP系统倾向光源（打开）或背离光源（关闭），进而造成像素的或明或暗。输入半导体的比特流图像代码指引每个微镜每秒开关多达数千次。

当微镜打开次数多于关闭次数时，将反射浅灰像素，当微镜关闭次数多于打开次数时将反射深灰像素。DLP系统中的微镜可反射多达1024个灰阶的像素将进入DLP芯片的视频或图形信号转换成灰度级非常详细的图像。DLP技术可以用于高性能成像、超光谱成像、结构照明、机器视觉以及其他方面的应用。

图18 DLP技术

2.4　计算图像处理

计算图像处理技术是指在不使用特殊的光学成像设备的情况下将普通图像编码处理后得到新图像的技术。计算处理技术与传统的压缩、缩放等简单图像处理不同，计算处理包含了更多更复杂的处理，计算处理技术编码处理后的图像是使用传统相机所不可能得到的图像。传统相机拍摄的照片往往由于焦距、曝光时间、光圈敏感度以及噪声问题影响了人的视觉感受以及计算机处理。计算处理技术将传统相机拍摄多张不同参数的图像进行融合重构，形成更适合人类视觉观看或计算机视觉更容易处理的图像。

1）不同曝光值的图像计算处理

由于自然场景中的动态范围远大于相机动态范围，调节不同曝光值可以将场景中动态范围分为多个区段分别捕获。如图19所示使用不同曝光的图像序列组合成高动态范围图像，再经过色调映射形成一幅可以在普通显示器上显示的高质量图像。

图19 曝光融合技术

2）不同焦点的图像计算处理

虽然某些情况下浅景深图像能突出拍摄主题获得更好的艺术效果，但是某些特定应用要求全视场都清晰以便对场景进行分析，这就需要对浅景深图像进行景深扩展。单独使用一张浅景深图像进行景深扩展是非常困难的，计算图像技术采用多张图像融合的方法解决这一问题。如图20所示将多张不同对焦距离的微距图像合成一张各个距离全部清晰的图像，控制相机在两个焦点之间进行阶段对焦拍摄，经过计算处理融合成一张高质量长景深图像。

图20 多焦点融合技术

3） 不同视场的图像计算处理

使用多个相机各自拍摄或用一个相机多次拍摄大场景中的一部分然后拼接成一个大场景是计算处理技术的一个研究内容。如图21所示为一种使用不变量特征自动缝合技术将多张小视场图像缝合成一张大视场全景图像。

图21 不同视场图像拼接缝合处理

4 ） 多帧超分辨率

多帧图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同，但相互补充的信息以及目标的先验信息，从一系列低分辨率的图像恢复出高分辨率的单幅图像。如图22所示为多帧图像超分辨率过程示意图，图23为超分结果图。

图22 超分辨率重建过程示意图（每类图元代表图像中一类信息）

a.表示一组低分辨率图像序列，b.是处理后得到的清晰图片

图23 通过一组低分辨率图像序列（颈动脉MRI图像）得到颈动脉的清晰图片

计算处理技术利用计算机算法来提高图像质量，它不用改变相机结构却能获得更丰富的图像应用，相比计算光学与计算传感器，计算处理技术更容易实现。随着算法的成熟以及数字图像处理器的性能提高，很多计算处理技术将可以集成在数码相机中。

3 总结与展望

计算成像并不是一个全新的技术它是对传统成像技术、图像处理技术、计算机图形学以及计算机视觉等众多学科领域研究内容的继承颠覆与超越，它是一个跨光学计算机电子科学等多个学科的系统科学。

近几年计算成像逐渐成为一个热门的研究领域，在ACM、SIGGRAPH、IEEE 、CVPR 等顶级国际会议上都有专题讨论，从2009年至今，每年都举行一届计算成像专题国际会议IEEE International Conference onComputational Photography (ICCP)。Stanford大学已研制出用于计算成像的实验平台Camera2.0。

本文仅列举了一些这个领域内的典型案例。从这些典型的案例中我们可以看出，虽然计算成像的研究内容是发散的，但目的都是一致的，那就是如何让相机记录更丰富的内容让我们有更丰富的视觉感受。计算成像领域已经取得了很多令人振奋的创造性成果，这些成果必将会影响未来成像技术的发展方向。

好消息！

小白学视觉知识星球

开始面向外开放啦👇👇👇

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~