最新综述论文：计算成像前沿进展

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

编者荐语

 

计算成像是融合光学硬件、图像传感器、算法软件于一体的新一代成像技术，它突破了传统成像技术信息获取深度（高动态范围、低照度）、广度（光谱、光场、三维）的瓶颈。

转载自丨奕目科技

论文：https://jianwang-cmu.github.io/22Survey/RecentProgressInComputationalImaging.pdf

  一、引言 

不可否认的是，当前主流的端到端光学算法联合设计多出自国外研究团队，国内在相关领域仍需加强。但国内相关成像产业发达，尤其是手机、工业、车载等领域，新技术的发展往往容易得到快速的产业化应用，并反向推进学术进展，形成良性循环。

基于此，奕目科技联合点昀技术、Google、Snap、同济大学、阿卜杜勒国王科技大学和香港中文大学研究团队在最新论文著作《最新综述：计算成像前沿进展》中，以计算成像的新设计方法、新算法和应用场景为主线，通过综合国内外文献和相关报道来梳理该领域的主要进展，从端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、低照度成像、三维成像、计算摄影等研究方向，重点论述计算成像领域的发展现状、前沿动态、热点问题和趋势。

 二、内容介绍

本文围绕端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、偏振成像、低照度成像、主动三维成像、计算摄影等具体实例全面阐述当前计算成像发展现状、前沿动态，热点问题、发展趋势和应用指导。

1.高动态范围成像

高动态范围成像（high dynamic range imaging，HDR）在计算图形学与摄影中，是用来实现比普通数位图像技术更大曝光动态范围（最亮和最暗细节的比率）的技术。高动态范围成像旨在获取更亮和更暗处细节，从而带来更丰富的信息，更震撼的视觉冲击力，不仅是目前手机相机核心竞争力之一，也是工业、车载相机的基本要求。

2.光场成像

光场成像（light field imaging，LFI）能够同时记录光线的空间位置和角度信息，是三维测量的一种新方法。经过近些年的发展，逐渐成为一种新兴的非接触式测量技术，自从摄影被发明以来，图像捕捉就涉及在场景的二维投影中获取信息。然而，光场不仅提供二维投影，还增加了另一个维度，即到达该投影的光线的角度。光场拥有关于光阵列方向和场景二维投影的信息，并且可以实现不同的功能。例如，可以将投影移动到不同的焦距，这使用户能够在采集后自由地重新聚焦图像。此外，还可以更改捕获场景的视角。目前已逐渐应用于工业、虚拟现实、生命科学和三维流动测试等领域，帮助快速获得真实的光场信息和复杂三维空间信息。

3.光谱成像

光谱成像（spectrum imaging）。光谱成像通常分为扫描式和快照式，其中快照式因其只需单次曝光就可以获取整个数据立方体信息，在应用上更具潜力和前景，因此当前计算机视觉和图形学关于光谱成像的研究也主要集中在快照式光谱成像技术上。快照式光谱成像按照实现方式不同，可以分为分孔径光谱成像，分像面光谱成像，孔径/像面编码光谱成像等。光谱成像可作为科学研究、工程应用的强有力工具，已经广泛应用于军事、工业、民用等诸多领域，对促进社会经济发展和保障国家安全具有重要作用。例如，光谱成像对河流、沙土、植被、岩矿等地物都具有很好的识别效果，因此在精准农业、环境监控、资源勘查、食品安全等诸多方面都具有重要应用。特别地，光谱成像还有望用于手机、自动驾驶汽车等终端。当前，光谱成像已成为计算机视觉和图形学研究的热点方向之一。

4.无透镜成像

无透镜成像（lensless imaging）技术为进一步压缩成像系统的尺寸提供了一种全新的思路（Boominathan等，2022)。无透镜成像摒弃了传统透镜中点对点的映射模式，而是将物空间的点投影为像空间的一种特殊的点扩散函数，不同物点在像面叠加，形成了一种人眼无法识别，但计算算法可以复原的原始数据。这种无透镜成像方式在光学硬件上对图像信息进行编码，并在计算算法中解码，因此形成了光学和算法的联合设计。因此，在可穿戴相机、便携式显微镜、内窥镜、物联网等应用领域极具发展潜力。另外，其独特的光学加密功能，能够对目标中敏感的生物识别特征进行有效保护，在隐私保护的人工智能成像方面也具有重要意义。

5.低光照成像

低光照成像（low light imaging）也是计算摄影里的研究热点一。手机摄影已经成为了人们用来记录生活的最常用的方式之一，手机的摄像功能也是每次发布会的看点，夜景模式也成了各大手机厂商争夺的技术制高点。不同手机的相机在白天的强光环境下拍照差异并不明显，然而在夜晚弱光情况下则差距明显。其原因是，成像依赖于镜头收集物体发出的光子，且传感器由光电转换、增益、模数转换一系列过程会有不可避免的噪声；白天光线充足，信号的信噪比高，成像质量很高；晚上光线微弱，信号的信噪比下降数个数量级，成像质量低；部分手机搭载使用计算摄影算法的夜景模式，比如基于单帧、多帧、RYYB阵列等的去噪，有效地提高了照片的质量。但目前依旧有很大的提升空间。低光照成像按照输入分类可以分为单帧输入、多帧输入( burst imaging)、 闪光灯辅助拍摄和传感器技术。

6.主动三维成像

主动三维成像（active 3D imaging）以获取物体或场景的点云为目的，被动方法以双目立体匹配为代表，但难以解决无纹理区域和有重复纹理区域的深度。主动光方法一般更为鲁棒，能够在暗处工作，且能够得到稠密的、精确的点云。主动光方法根据使用的光的性质可分为基于光的直线传播如结构光，基于光速如Time-of-fligt（TOF），包括连续波TOF（iTOF）和直接TOF（dTOF），和基于光的波的性质如干涉仪，其中前两种方法的主动三维成像已广泛使用在人们的日常生活中。

  三、总结

端到端光学算法联合设计旨在打破传统的成像系统中，光学、传感器、图像后处理算法以及显示处理等环节之间的壁垒，降低每个环节对人经验的依赖，为诸多场景提供傻瓜化的全新解决方案。

展望未来，虽然端到端成像技术仍处于早期阶段，但已成为各大相关产业竞争焦点，短期看来，未来三年便可得到相关产业应用。长期看来，整体的趋势不仅是光学、传感器、算法和处理器的联合设计优化，而且朝着集成化发展，尤其是传感器自身对ISP的集成和光学配合，会大幅降低整个光学、摄像模组行业的生产成本和降低下游厂商对高性能处理器的依赖和提高自由度，有望对整体成像产业链进行重新洗牌，突破成本、功能瓶颈。

计算摄影学（computational photography）是计算成像的一个分支学科，它从传统摄影学发展而来。传统摄影学主要着眼于使用光学器件更好地进行成像，如佳能、索尼等相机厂商对于镜头的研究；与之相比，计算摄影学则更侧重于使用数字计算的方式进行图像拍摄。在过去10年中，随着移动端设备计算能力的迅速发展，手机摄影逐渐成为了计算摄影学研究的主要方向：在光学镜片的物理尺寸、成像质量受限的情况下，如何使用合理的计算资源，绘制出用户最满意的图像。计算摄影学在近年来得到了长足的发展，其研究问题的范围也所有扩展，如：夜空摄影、人脸重光照、照片自动美化等。受图像的算法，其中重点介绍：自动白平衡、自动对焦、人工景深模拟以及连拍摄影。篇幅所限，本报告中仅介绍目标为还原拍摄真实场景的真实信息的相关研究。

更多细节请参考论文。
论文：https://jianwang-cmu.github.io/22Survey/RecentProgressInComputationalImaging.pdf

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~