【探讨】计算光学成像的演变历程及前景展望

引言：光学成像诞生与发展是时代的必然产物。科学技术的进步、人们对长驻影像的渴望、对影像记录和信息传播的需求催生了光学成像技术的诞生；同时光学成像技术的诞生又反过来更进一步促进了科技的发展与人们的需求。光学成像技术并不是某一个人发明出来的，而是经过数代人共同努力的成果，它是适应社会需求的必然产物。

计算光学成像所涉及研究的内容非常广泛，虽然计算光学成像的研究内容是发散的，但目的都是一致的：如何让相机记录到客观实物更丰富的信息，延伸并扩展人眼的视觉感知。总的来说，计算光学成像现阶段已经取得了很多令人振奋的研究成果，这些成果必将会对光学成像技术未来的发展方向产生深远影响。那么光学成像技术是怎么演变到如今这个阶段的？未来有哪些用武之地呢？带着这些疑问，我们回顾一番光学成像技术的演变历程以及探讨计算光学成像的优势、面临的挑战来大胆展望它的未来发展趋势。

关键词：光学成像；元宇宙；科学仪器；传感器

01 成像系统的雏形

早在公元前四百多年，中国哲学家墨子观察到小孔成像的现象，并记录在他的著作《墨子•经下》中，成为有史以来对小孔成像最早的研究和论著，为摄影的发明奠定了理论基础。墨子之后，古希腊哲学家亚里士多德和数学家欧几里得、春秋时期法家韩非子、西汉淮南王刘安、北宋科学家沈括等中外科学家都对针孔成像有颇多论述，针孔影像，已为察觉乃至运用，但只可观察，无法记录。在 15~16 世纪文艺复兴时期，欧洲出现了供绘画用的“成像暗箱”(Camera obscura)，如图 1 所示 (最初由意大利人阿贝尔第 (Leon BatistiAlberti) 研制)。由于暗箱的发明，很多历史的记载中从来没有系统学过绘画的人都“突然之间”摇身一变成了绘画天才，写实技巧骤然提升。在那个摄影技术尚未出现的时代，涌现出了大量能与“单反照片”媲美的杰作。

图 1 16 世纪用于绘图的暗箱装置

02 光学成像系统的诞生-金属光化学摄影

1725 年，德国纽伦堡阿道夫大学医学教授亨利其·舒尔茨 (Heinrich Schulze) 发现硝酸银溶液在光作用下会变黑，并于 1727 年发表论文《硝酸银与白垩混合物对光的作用》，论文讨论了硝酸银混合物在光作用下记录图案的功能，德国人称之为现代摄影的始祖。1793 年法国发明家尼埃普斯 (Joseph NicéphoreNièpce) 和他的兄弟一起开始了对感光材料的实验。1822~1824 年期间，他实验发现把沥青涂在玻璃板和金属板上能够实现感光。1825 年，他成功地利用可以感光的纸把铜版画上的影像制作成了一幅图片，由此诞生世界上第一张照片——《牵马少年 》 ，如图 2 所示。这个以牵马的人为对象的图片虽然不是用照相机“照”出来的，但是这张图片预示着感光材料在实际运用方面迎来了一个新时代。然而在摄影技术诞生的初期，由于感光材料的灵敏度很低，拍摄一张照片往往需要曝光几个小时。

1725 年，德国纽伦堡阿道夫大学医学教授亨利其·舒尔茨 (Heinrich Schulze) 发现硝酸银溶液在光作用下会变黑，并于 1727 年发表论文《硝酸银与白垩混合物对光的作用》，论文讨论了硝酸银混合物在光作用下记录图案的功能，德国人称之为现代摄影的始祖。1793 年法国发明家尼埃普斯 (Joseph NicéphoreNièpce) 和他的兄弟一起开始了对感光材料的实验。1822~1824 年期间，他实验发现把沥青涂在玻璃板和金属板上能够实现感光。1825 年，他成功地利用可以感光的纸把铜版画上的影像制作成了一幅图片，由此诞生世界上第一张照片——《牵马少年 》 ，如图 2 所示。这个以牵马的人为对象的图片虽然不是用照相机“照”出来的，但是这张图片预示着感光材料在实际运用方面迎来了一个新时代。然而在摄影技术诞生的初期，由于感光材料的灵敏度很低，拍摄一张照片往往需要曝光几个小时。

图 2  尼埃普斯使用的暗箱相机和所拍摄的《牵马少年》

1）第一次成像革命-感光版光化学摄影

摄影发展的下一步发展是从光化学时代进入了高度详细和可再现的感光版摄影成像时代。1851 年伦敦雕塑家弗里德里克·司各特·阿切尔 (FrederickScott Archer) 发明了“火棉胶湿”(Wet-collidion process)摄影术。所谓火棉胶，是一种将硝化棉溶在乙醚和酒精混合物中的黏性液体，因为必须在液体状态下进行冲洗，所以这种方法因此得名 (见图 3)。它的优点是光敏度高，感光快，拍风景约需 10 s~1 min，拍人像只要 2~20 s。可以印出无限量永久性的照片，且影像纹理清晰、层次丰富、优美真实、价格低廉，因此成为当时欧美的主要摄影法。火棉胶湿版摄影法效果虽然很好，但使用很不方便，不适用于工业化生产。摄影师外出拍摄时必须携带着遮光的帐篷、化学药品、玻璃片、笨重的支架以及一壶水，全套装备通常是整整一马车。

图 3 火棉胶湿摄影术的基本流程

1871 年 ， 英 国 医 生 理 查 德 ·里 彻 ·马 克 多 斯(Richard Leach Maddox) 发明了另外一种以玻璃为感光版的摄影方法“明胶干版法”。他用糊状的明胶为材料的溴化银乳剂，趁热涂在玻璃上，干燥时就不会像火棉胶那样发生结晶现象。玻璃干版在感光能力上又有提高，质量很稳定，摄影时比“湿法”方便很多，并且可以商购，这是摄影开发技术的重大突破。用明胶作涂布材料，感光度极高，在室外阳光下曝光时间可缩短到 1/25 s，可以手持相机拍摄，而且外出拍摄可以不用带暗室设备和化学药品，摆脱了临时涂布制作湿版的不便，并适用于工业化生产。这是成像摄影界的一次革命，标志着“快照”的时代已经到来。

2）第二次成像革命-胶卷光化学摄影

摄影直到 19 世纪 80 年代中期才真正为业余爱好者所接受。让摄影变得轻便、并且走向大众的人，是美国人乔治·伊斯曼 (George Eastman)。他尝试用一种透明的材料作为曝光底片，于1884 年发明了世界上第一款胶卷底片。胶卷比玻璃板更轻、更有弹性，而且胶卷的使用可以让摄影师快速连续拍摄多张照片。伊斯曼给自己的照相机和胶卷起名为“柯达”，因为它“听起来就像相机快门声一样干脆”。从此照相底片以干版一统天下的格局被打破，感光材料的发展进入了一个新纪元。但是该相机的胶卷是事先放置在相机里的，待 100 张照片拍完以后需要再花 10 美元寄回伊斯曼公司，由工厂冲洗、印制照片并装帧，再把相机装入新胶卷后连同照片寄回用户。1891 年，柯达公司制作出摄影者自己能装卸的胶卷，从此柯达软片胶卷风行世界，摄影开始逐渐走进大众生活中。1900 年，柯达公司推出普及型照相机布朗尼 (Brownie)，如图 4 所示。它是史上第一台批量生产的消费级相机，正是由于这台相机的诞生，摄影首次成为了平民化的活动，对摄影术的推广起到了不可估量的作用。这是一次重大的技术变革，从此快拍 (Snapshot) 成为了一种生活方式，使用不同类型的胶卷相机开始充斥市场，相机的发展因此开始向小型化和轻量化方向演进。

图 4  布朗尼相机与莱卡相机

1906 年，美国人乔治·希拉斯 (George Silas) 首创了闪光灯摄影。1913 年，德国莱兹厂的一位工程师巴纳克 (Oskar Barnack) 按 35 mm 电影胶片的规格设计出一种小型照相机，可拍摄 24 mm×36 mm 照片，取名莱卡 (Leica)，如图 4 所示。徕卡小而紧凑，其相对较小的原因是由于采用了 135 格式 (35 mm) 的乔治·伊士曼干式乳液卷筒照相胶片。莱卡标志着 35 mm 照相机 (又称 135 照相机) 的诞生，35 mm 胶卷也在未来75 年内成为照片行业的主导，并用于了后续的傻瓜相机，测距仪和单反相机，成为了从爱好者到专业摄影师的黄金标准。

3）第三次成像革命-数码相机

从 20 世纪 60 年代初起，光学传递函数理论进入了光学设计领域，出现了成像质量高，色彩还原好，大孔径，低畸变的摄影镜头。同时，镜头向系列化发展，由焦距几 mm 的鱼眼镜头到焦距长达 2 m 的超摄远镜头，并有了透视调整、变焦徽距、夜视等摄影镜头。1960 年，日本旭光公司在德国世界相机博览会上展示了世界上首台以电子测光的 135 单反“潘泰克斯”(Pentax SP)，从此照相机进入了电子时代。电子技术逐渐深入到照相机内部，多种测光、高精度的电子镜间快门、电子焦平面快门以及易于控制的电子自拍机等都纷纷出现。曝光补偿、存储记忆、多照片纪录、电动上弦卷片、自动调焦等各种功能得到愈益精美的应用，高度自动化、小型、轻便达到了前所未有的高度。

电子自动化技术为摄影光学系统提供了十分精良的设备，但真正意义上让摄影与众不同的一大革命是实现图像的数字化。

数码相机的历史可以追溯到上个世纪四五十年代。1956 年，安培 (Ampex) 公司推出了该公司所谓的“首款实用的磁带录像机”(VTR)VR-1000(见图 5)。这种新机器可以将电视转播中的电流脉冲记录到磁带上，它被视为电子成像技术的诞生。

图 5 安培公司推出的首款磁带录像机 VR-1000

1969 年，博伊尔 (Willard Boyle) 和史密斯 (George E. Smith) 在 AT&T 贝尔实验室发明电荷耦合器件(Charge Coupled Device，CCD，见图 6)。CCD 能够将光学影像转换为电子信号，自此奠定了数码相机的根基。

图 6  博伊尔和史密斯发明的首个 CCD 相

1975 年，柯达工程师史蒂文·萨森(Steven Sasson)基于电荷耦合器件研发出世界上第一部数码相机 (见图 7)，

图 7  史蒂文·萨森研发出世界上第一部数码相机

2000 年，佳能推出了第一款采用 CMOS  传 感 器 的 数 码 单 反 D30。虽 然 当 时CMOS 传感器在画质上要比 CCD 逊色不少，但是有易于制造、成本低等特点。佳能此后依托于 CMOS 传感器得到了快速发展。

20 世纪 90 年代后期，数码相机及配套的电脑图像处理系统迅速崛起，传统的胶卷时代受到数码技术的巨大冲击。影像的存储载体变成了 CCD 或CMOS 芯片。自此，数码技术得到快速得发展。

4）第四次成像革命-计算光学成像

数码相机的出现使许多新的成像能力和应用成为可能。图片可以数不清的方式进行操作；它们可以毫不费力地存储、编辑和检索；它们可以在瞬间与世界各地的任何人共享。尽管这是一场科技革命，但现实情况是：自从一千年前第一部相机被展示出来以来，相机基本上没有什么根本性的变化，其仍然是以人眼为模型的，并几乎完全依靠光学来形成图像，即“所见即所得”。

与现代数码相机相关的主要进步不在于获取图像的方式，而在于这些图像的记录方式。半导体光电探测器阵列可以认为是一种电子模拟胶片。有人可能会说，这些新相机根本不是真正的数字成像系统，而是带有电子记录的模拟成像系统。因此，现代相机还没有充分实现数字过渡所带来的潜力。”

近年来，为了开发数字成像技术尚未实现的潜力，计算光学成像技术应运而生。计算光学成像包括这样一种概念，即“光学系统与图像处理算法的并行设计与联合优化来进一步打破传统成像系统的限制，而不是单个组件的集合”。

这似乎是个显而易见的选择：在设计整个成像系统中的光学系统时，难道不应该考虑图像被捕获后如何以及将如何处理吗？目前相机已经拥有捕捉千万像素图像的能力，对于图像中像素的数量线性增加的同时，图像中包含的有用信息的量受光学系统所限通常不会同比增加，导致数据量和信息量二者之间的差异不断扩大。图像数据量的爆炸式增长也导致了对用于处理、传输、存储和检索的底层硬件基础结构的数据容量的不断增加。因此，我们难道不应该设计具有提供更多信息而不是更多数据的目标的成像系统吗？

一旦开始用这种方式来看待成像系统的设计，我们就会发现一个全新的设计空间被打开了：例如，数字重聚焦技术能够在拍摄图像后利用软件来控制成像的景深。也许大家都经历过相机失焦造成的图像模糊，而且发现即使在 Photoshop利用去模糊算法也无法很好地复原清晰图像。而基于计算光学成像的数字重聚焦计算则能够在此情况下提供一个可行的解决方案。计算光学成像所包含的另一个概念是“不应该仅仅依赖光学器件来在传感器前面形成完美的图像”。毕竟只要必要的信息包含在由光学器件收集的光场中，那么现在可以通过数字信号处理来极大地实现图像增强与细化。现在常用后处理来校正光学缺陷与不足，例如红眼、防抖、HDR 是一些简单不过例子。

图 8  HDR与非HDR效果对比

此外，计算光学成像技术还能够拓宽光学成像技术的疆界，获取到强度、颜色以外的不可视化的额外信息。通常当照相机拍摄多维场景的信息时，图像数据被压缩并被映射到二维的数据集上。二维图像数据表示数字图像传感器上每个像素处的光的强度。场景和图像之间的这种尺寸的不匹配固有地导致信息丢失。而计算光学成像则“通过合理设计光学系统与硬件传感器之间的任务分配，利用一部分传感器记录场景的高维度附加信息”。其可以是物体深度、相位、光谱或所收集光的偏振的形式。由于整个光学系统已经与后端检测算法协同设计，所以这些附加信息可以在后续处理中实现图像恢复。

图 9  最早的采用“计算成像”思想设计的光学成像系统——波前编码成像

计算光学成像技术虽然发展至今已经取得了很多令人振奋的成果，但倘若要接受其为当前媒体所广泛宣传的“第四次成像革命”，似乎还有些为时过早。不过可以预见的是，计算光学成像技术作为智能制造、先进医疗、消费电子、高端仪器、“元宇宙”底层基建的核心支持技术，定会得到更大的投入、更多的关注、更快速且务实的发展，并在国家安全、装备制造、生物能源、生物医学、消费电子等行业发挥越来越重要的作用。

03 计算成像的优势及挑战

1）优势

 “物理域”和“计算域”的协同

计算光学成像的最大优势在于它代表了一种崭新的光学系统设计方式。其在建立光的几何光学，波动光学，甚至光量子模型的基础上，采用照明与光学系统调制等方式，建立场景与观测之间的变换或调制模型，然后利用逆问题求解等数学手段，通过计算反演来进行成像。这种计算成像方法实质上就是在场景和图像之间建立了某种特定的联系，这种联系可以是线性的也可以是非线性的，可以突破一一对应的直接采样形式 ，实现非直接的采样形式，使得采样形式更加灵活，更能充分发挥不同传感器的特点与性能。这种灵活的设计模式可以改变光学测量的性质以获得所需的结果并平衡物理域和计算域之间对图像生成和信息提取所依赖的资源。利用信息论的概念，不仅可以借助于传统光学设计的优势，还可以充分利用对于光信息处理的潜力来设计成像系统。

潜在的“通用理论框架”

计算光学成像技术的另一大显著优势在于其能够有望形成一个更高维度的框架体系来分析处理与看待光学成像的具体个案问题。传统光学成像技术的发展大多依赖于 case-by-case 的研究方式，极易造成大量重复性研究，难以揭示那些看似独立的成像方法之间的内在关联。此外特定方法针对核心成像指标提升的本质原因仍不明确，从而难以定量优化或进一步提升其成像潜能。而计算光学成像实则提供了一个“包罗万象”的通用理论框架：一个典型的计算光学成像系统由照明、样品、成像系统、探测器四部分构成。照明光与样品发生作用后成为其本质信息 (如吸收，相位，折射率等) 的载体，通过对照明与成像系统进行光学调控使物体的本质信息转化为光强信号由探测器离散采集，最后通过相应的计算方法对样品本质信息进行反演，获得样品高维高分辨率定量数据。若能基于物理成像模型构建计算光学成像理论体系，突破“如何表示”、“如何求解”、“如何设计”三大关键科学问题，并在此体系下发展求解相应逆问题的标准可重用算法，发挥可见光波段光学调控手段的灵活优势，有助于实现有限资源的最大效用，使最优核心成像指标实现质的突破，进而促使面向各类复杂现实成像应用的新理论、新机制、新技术更快，更系统地形成。

2）挑战

成本与代价

俗话说“天下没有免费的午餐”，任何事物的存在都具有两面性，计算成像技术亦是如此。当设计计算光学成像系统时，必须权衡计算成像和传统成像技术相关的成本代价与预期的功效改善。考虑的成本代价包括：进行非传统点对点强度测量的物理元件的成本、对观测目标多次测量产生的时间成本、数据量以及物理模型和校准与标定对处理性能的影响等。尽管计算成像技术的某些案例能够 (在一定意义上) 简化成像系统，但从整体来看往往并非能够那么轻易下结论。例如：单像素成像技术虽然能够简化探测端，降低了采用大规模阵列探测器的成本，但是却令照明或者光学系统变得复杂化。空间光调制器的引入往往使系统成本不降反升，多次采样所导致时间成本与数据量的增加，重建运算所导致的复杂度往往远高于传统面阵成像技术。另一方面，采用昂贵的专用光学器件代替价格低廉且易于大批量生产的光学透镜其实并非一个明智的选择。

定制化  VS 标准化

光学系统与处理算法的联合设计是计算光学成像系统的标志性特点，这与传统光学成像设备与仪器的模块化、开放式系统设计理念背道而驰。模块化开放式系统设计模式是现代成像技术与系统的一大发展趋势，例如：具有标准化接口的模块化设计可以使佳能单反相机兼容尼康公司所生产的镜头，或在各种硬件平台上，如照相机、手机甚至平板电脑上移植高动态范围成像算法的应用程序。这种接口模块化和标准化设计使光学成像设备的低成本、大规模生产成为可能，促进了包含光学传感器的复杂消费电子设备的普及。计算光学成像的前端与后端联合设计思路恰好与模块化开放式系统设计思路相悖，因此计算光学成像系统必须在功能、性能、实用性或人机界面方面提供压倒性的优势，才有希望未来能够克服这种标准化模块化为主导的设计范式。

技术优势 VS 市场需

功能与技术的先进性和简单易用便携到底孰更重要？对于科研应用来说，也许前者是最重要的。但是对于商业系统，特别是消费电子类产品来说，后者才是关键。当计算成像技术从学术界走向产业界时，就必须认清现实——商业产品必须具备市场优势，而不仅仅是技术优势。例如：相比较更清晰的图像与更高的分辨率，减少医疗成像中人体对 X 光辐射暴露的时间或减少进站安检 X 光机所需的等待时间往往是消费者更为在意的地方。关于这方面一个众所周知的反例就是光场相机，其所带来的功能优势并不能很好地弥补其在成像质量与易用性上的缺失，导致普通消费人群并没有因为其一系列创新功能而动容买单。

04 计算光学成像发展机会

或许对于研究人员而言，计算光学成像最大的吸引力来自通过计算机与微处理器性能的不断提升使光学成像也能够搭上“摩尔定律”的顺风车，利用强大的“算力”突破物理定律 (如麦克斯韦方程、光学衍射极限、采样定律、不确定性原理等) 的限制与制约。但是对于普通大众而言，更令他们感兴趣的还是计算光学成像所带来的功能与性能方面的提升。为了预测计算光学成像技术对未来成像系统的发展走向的影响，将着重考虑计算光学成像潜在的广泛应用领域：科学仪器、商业工业、国防安全。

1）科学仪器

科学仪器是科学研究与高端制造业发展所不可或缺的重要工具，是现代工业研发与生产的重要物质支撑，也是物理、化学、材料、生命科学等实验科学数据的根本源头。正如之前所提及的，计算光学成像技术尤其适用于拥有广泛消费基础的昂贵科学仪器设备，而科学与医学领域则是这类高端科学仪器设备的主要集散地。例如，2014 年诺贝尔化学奖被授予具有亚波长成像能力的超分辨率荧光显微成像技术，现阶段已经有众多商业化的科学仪器与产品。对该项技术而言，科研应用对功能和性能提升上的需求远超过计算光学成像所需的数据处理所耗费的代价，这点已经从 X-ray CT 和 MRI 等技术的广泛推广与应用得到证实。在此背景下，计算光学成像技术 (如单像素成像、无透镜成像) 具有非常可观的应用空间。

2）商业工业

在商业应用方面，手机摄像头与微处理器等高度集成系统为计算光学成像提供了新的机遇。例如，在iPhone X 上集成的用于三维人脸识别的结构光传感器。它包括精密的照明、图像捕捉和微型化的处理芯片。目前智能手机中存在的传感、处理、存储、显示和通信系统紧凑集成，这即将为计算光学成像在移动消费终端的技术落地提供沃土。另一方面，随着触摸屏、手势控制、体感控制的发明，人机界面经历了一场革命。体感控制本质上需要三维成像技术来感知人体或身体部位的位置和姿势，从而实现计算机的远程控制或者游戏交互娱乐。此外，当今概念大热的“元宇宙”作为虚拟世界和现实世界融合的载体，也需要具备“沉浸感、开放性”等特征，计算光学成像 (特别是三维成像技术)、虚拟和增强现实 (VR/AR) 等成为其底层支撑技术。现阶段的三维感知、VR/AR 在产业链成熟度、生态构建等方面，还无法支撑元宇宙的愿景。不过可以预见的是，未来计算光学成像传感技术、显示技术、实时交互等技术将与计算机网络、大数据云计算、操作系统等底层技术更紧密结合并进一步共同发展，从而才能使“元宇宙”为用户提供完美沉浸式体验，助推实现科技与人文的结合，推动游戏、工业、教育及社交等多场景在元宇宙的渐进式发展。

工业应用方面，其目标是工业生产全线的自动化控制，包括设计、生产、加工、装调、缺陷检测等。计算光学成像技术在其中也有望充分发挥其优势。例如，光场相机的诞生，基于高精度三维测量技术对流水线上的工件与产品进行合规检测，通过主动三维传感技术提取环境信息，经过计算机处理后进行后续分析并反馈机器人执行装配命令等，从而保证工业自动化生产全链路闭环控制。

3) 国防安全

未来的国家安全与民生保障要求光电成像与探测系统能同时实现高像素分辨率，多模态成像，高灵敏度，大景深，快帧频，而传统光电成像技术对于解决新的未来的反恐维稳、监控安防、国防安全等领域成像探测应用需求所带来的问题已显得力不从心，其具体表现在：光电成像系统在信息获取能力、功能、性能指标等方面的提高过度依赖于探测器技术水平的提高。单一成像系统难以同时实现高灵敏度，大景深，高分辨，快帧频。此外对于传统小视场的成像系统而言，成像分辨率往往最终由光学系统口径所决定。然而传统光学系统设计受限于光学衍射极限，为了实现高分辨率，必须增加光学系统的孔径，而光学系统孔径的不断加大会导致体积、质量不断增加；更重要的是，孔径尺寸的增加往往导致景深与视场尺寸的对应缩减。因此，发展基于计算光学的新概念光电成像与探测机理与方法，指导高精尖光电成像系统的设计，已经成为国防安全领域新一代光电成像技术与系统的重要发展方向。

05 总结

再大胆展望一下未来：随着传感器与嵌入式处理器性能的飞速提高，成本的迅速降低，云计算与大数据的飞速发展，未来计算光学成像技术将会渗透到人们身边每一个新的设备 (电视、冰箱、垃圾桶、吸尘器、扫地机器人)、运输工具 (电动自行车、汽车、飞机或轮船)、建筑 (住宅和商业场所) 和处理平台 (手机、电脑、平板) 中，其必将为成像领域带来一次革命性的改变。到时候，“计算”和“成像”将无处不在。

欢迎扫码关注GZH：《光场视觉》

文章转自：深圳大学学报理工版     来源：达摩院、知网

声明：转载此文目的在于传递更多信息，仅供读者学习、交流之目的。文章版权归原作者所有，如有侵权，请联系删除。