计算成像技术在信息复原及增强中的研究进展

​欢迎关注GZH《光场视觉》

摘要：计算成像是融合了光学设计、光学传感和图像处理的新兴技术领域，突破了传统成像技术获取信息的深度和广度限制，成为国际研究热点，是先进光学成像技术的重要发展方向。综合国内外文献和相关报道，以计算成像在信息复原及信息增强应用场景的技术发展为主线，结合新方法、新算法探讨各个子领域的主要进展，介绍端到端相机成像优化模型、衍射光学模型及基于可微光线追踪的复杂透镜模型等。近年来，无论是光学系统硬件加工还是图像处理算法都有着惊人的发展速度，多样化系统结构和先进算法的结合为计算成像提供了强大的发展动力，从人脸识别到物体检测，计算成像技术广泛涵盖了安防监控、医疗诊断、零售和娱乐等众多领域，相信未来也会在更多科学应用领域看到它的价值。

关键词：计算成像；全链路；光信息编解码

1 引言

得益于光学制造和半导体工业的快速发展，光学成像技术已经成为人眼视觉延伸及扩展的重要工具，对移动设备、工业检测、安防监控和医疗诊断等领域的发展具有积极的推动作用。光学系统包含光源、目标物体、透镜模组及探测器等成像功能模块以及算法处理模块，每个模块提供相应的模态信息，如图1所示。传统光学成像中各模态信息独立处理、各自优化，单一时序流动后实现系统整体机能；模块间缺乏有机交互，各模块未能实现面向整体需求的信息处理和传递，节点带宽占用率高导致系统存在大量信息冗余且效率低下；受成像衍射极限、算法处理速度等因素制约，在像差矫正、空间分辨力、光谱分辨力与信息通量等方面存在很大局限性，使得空间带宽积严重受限。高分辨率、大视场及多维度的高通量光学成像一直是人们在不断追求的科学目标。

随着新型光电器件和高性能计算机等新一代技术的快速发展，计算成像技术应运而生，为集成光学、电子学、信息科学及计算机科学于一体的新兴多学科交叉技术［1-2］。计算成像实现了光学系统各子模块间联动优化，增强有机交互，根据特定成像任务完成整体过程优化［3-4］。通过联合设计光源编码、光路编码、传感编码与计算解码，搭建分布式编解码计算成像系统，以实现高质量的信息增强与复原，如图1所示。通过统一规划成像链路中的光信息传播路径，改善系统硬件编码及算法解码流程，实现完整、高效的信息采集及处理，突破传统光学系统的空间带宽积，大幅提升光信息通量，从而赋予诸多传统成像系统难以获得的优势，包括系统精简（如单透镜成像［5-6］）、信息维度扩展（如高光谱成像［7-8］）、极端环境成像（如极低光成像［9-10］）等。

同时，计算成像在近年来也受到了国内外科研机构及科研工作者的广泛关注，成为科学研究的热点之一。本文将围绕信息复原和信息增强这两个应用领域分别阐述当前计算成像技术的发展现状及前沿动态。

2 计算成像技术及应用概述

在传统光学成像中，源信息不足和噪声污染是导致信息通量受限的两个关键问题。计算成像技术通过联合优化光学模型与图像算法克服上述问题，完成信息复原与信息增强，实现高通量成像。信息复原，主要面向光学像差影响引起系统带宽积受限的问题，通过多维光学编码及特定的计算多源解码，实现像差消除及源信息恢复。信息增强，则面向物理噪声污染及成像维度受限导致信息通量瓶颈的问题，通过光学-传感-计算联合多维编解码，实现源信息强度增强及维度扩展。按照信息复原及信息增强分类对近年来的计算成像技术及应用进行综述。

2.1信息复原

信息复原是计算成像极为关注的成像目标之一。通过对照明与光学系统引入可控的编码策略，比如波前编码、光谱编码及对焦编码等，获取先验知识，将物体或者场景更多的源信息调制到传感器所能拍摄到的原始图像信号中［11］。在解码阶段，针对植入的光学编码模型设计相应的图像处理算法，将编码的光信号解调，实现信息复原。其中，在空间维度的景深扩展和光谱维度的消色差成像是两类典型的成像任务。

2.1.1景深扩展

景深是成像任务中最关键的指标之一。大景深成像可以清晰地记录较大深度下的场景信息，对光学显微及自动驾驶等领域是至关重要的。然而，景深和信噪比之间的制衡是成像领域长期存在的固有限制。例如，显微镜通过复杂光学设计，获取大数值孔径和高分辨率，但通常以牺牲景深为代价［12］。近年来，已有多种计算成像技术被提出用于解决这个问题，其中计算点扩散函数（PSF）编码成像及混合编解码计算成像是两类具有代表性的扩景深计算成像技术。

1）计算PSF编码成像

不同于通过优化复杂透镜组实现像差校正的传统光学系统设计，计算PSF编码成像通过对像差进行建模和计算，得到可逆计算的离焦图像。根据系统设计优化方法，计算PSF编码成像技术可以主要分为分布时序联合设计及端到端联合设计两大类。分布时序联合设计根据特定成像任务，首先优化设计光学系统，再相应地设计图像重建算法。端到端联合设计构建数据驱动的成像全链路模型，联合设计光学模型及图像算法，达到特定的成像要求。

分布时序联合设计。相位掩模板由于具有高设计自由度，在计算成像领域扮演着至关重要的角色，通过有效结合后处理算法，显著提升了图像质量。考虑在归一化坐标中的一维单位功率相位掩模，表达式为

式中：x为归一化的空间坐标；θ（x）的具体形式取决于应用，它可以是线性函数、阶跃函数或任何其他适合特定成像任务要求的形式。相应地，成像系统的光学传递函数可以表示为

式中：u与ψ分别是空间频率与离焦参数。因此可以通过优化θ（x）设计相位掩模板，以获得最优的光学模型。1995年，美国科罗拉多大学Dowski和Cathey［13］基于模糊函数理论及稳相位法，设计了立方相位调制相位掩模板，并将其放置在光学成像系统的光阑处，使得不同深度下的点物发出的光线在成像面形成均匀大小的弥散斑，从而对离焦不敏感，得到在一定深度范围内几乎不变化的PSF；随后再对拍摄图像通过反卷积算法进行重建，实现景深扩展。PSF编码系统与传统系统成像性能的对比如图2所示。传统系统的成像质量随着离焦程度增加明显下降，而PSF编码系统的成像质量几乎不随离焦发生变化。

不同于相位掩模板设计，2011年，日本大阪大学Kuthirummal等［14］提出基于对焦扫描的扩景深计算成像方法，通过在单次成像过程中连续移动传感器的位置，获得一张具有均匀模糊特征的图像。图3是系统示意图。文章表明对焦扫描记录的图像模糊程度与物距无关，即场景中每个点的模糊程度都近似可以用同一个PSF表征。基于此，对模糊图像进行基础的反卷积操作就可以实现景深扩展。对焦技术的难点在于如何针对不同的应用场景精确调整合适的传感器移动距离，以实现感兴趣范围的景深扩展。

端到端联合设计。不同于分布时序联合设计，随着深度学习技术的发展，端到端联合优化光学模型和图像处理算法使得研制基于任务导向的最优成像系统成为可能［15-17］。端到端联合设计成像系统主要包含可微分成像模块和图像重建模块。可微分成像模块主要由PSF计算、PSF与目标图像卷积运算、探测器积分采样三部分组成。基于波动光学理论，PSF的计算是可微的。2018年，斯坦福大学Sitzmann等通过深度光学设计实现了基于单个衍射光学元件的大景深成像［18］，将经过图像重建后的图像质量作为优化目标，自动地全局优化不同深度下的PSF。图4展示了单透镜深度光学设计系统流程。

2021年，申俊飞团队提出基于单透镜的扩景深计算成像［19］。根据光学色散的物理特性，设计特殊的非球面透镜，如图5（a）所示，不同波长的光会聚到特定位置，使得不同深度下的点物在像面的光能量分布是均匀的，即PSF是深度不变的；再将图5（b）所示的单透镜记录的图像传输到特殊设计的反卷积网络，提取均匀模糊的图像特征，学习深度不变的PSF特性，完成高保真的图像重建，实现景深扩展，如图5（c）所示。

然而，单透镜可微成像模型仅适用于单种材料的衍射光学元件设计，且存在单层可微、傍轴近似等局限，极大地限制了光学设计空间及最终的成像效果［20-21］。为了克服这些问题，2021年，Sun等［20］提出了基于可微光线追踪的端到端计算光学设计方法，该方法可以跳过点扩散函数直接构建光学参数与最终图像之间的可微关系。图6（b）是利用图6（a）所示透镜组成像并经过重建得到的图像，图6（c）是由配备F/4.5、28~70mm变焦镜头的索尼相机拍摄得到的，相比可知，端到端复杂透镜设计可以实现更大的景深效果。

计算PSF编码成像技术通过灵活编码PSF，搭建了前端光学设计与后端图像处理的桥梁，提供了一种高效的信息复原方法来处理复杂环境下的成像问题，并有效减小了光学设计的压力和算法设计的复杂度。其中特殊PSF工程（深度不变/光谱不变PSF设计）、高精度光学元件加工及先进人工智能算法3个关键技术在改善图像质量和扩展应用领域方面发挥了重要的作用。但目前该技术常常局限于视场小、深度有限、光谱不足以及光学元件加工误差大等问题，难以达到商用相机的要求。未来，高通量及易加工的计算PSF编码成像技术将成为进一步的追求目标。

2）混合编解码计算成像

基于信息论，光学成像可以视为信息流编解码。通过对成像系统的光学参数进行编码，扩宽成像链路信息流传输维度，并结合计算解码，达到高通量成像的目标。2022年，申俊飞团队［22］提出了光谱-光圈混合编解码的扩景深计算增强成像方法。在光学编码端，对成像光谱及物理光圈进行混合编码，形成双光路成像框架。具体地，基于人眼与相机对近红外光的感知差异，充分利用相机的光谱效率，设计小光圈近红外光路，记录大景深的场景细节；基于光学成像特性，设计大光圈可见光路，捕捉场景的自然颜色信息。在计算解码端，针对植入的混合编码光学模型，构建了金字塔状的信息融合网络，实现高保真的图像重建。通过有效结合光学编码和计算解码，实现景深扩展。重建效果如图7（c）所示，相比图7（a）所示可见光源图像，景深扩展了大约3倍。

除了光谱-光圈混合编码外，申俊飞团队［23］提出基于多PSF编解码的景深扩展方法。通过对光学系统PSF建模，发现不同像距下PSF随物方深度的变化具有高度相似性。基于此，在光学编码端，有效利用相机自动聚焦功能，在多个预设焦点处记录多聚焦图像；在计算解码端，设计特殊反卷积深度网络提取空间特征，学习多焦面PSF成像特性，融合多焦信息，实现成像景深大幅扩展。景深扩展效果如图8所示。

混合编解码计算成像是结合光学信息论与计算解码的一项技术，不同于传统整体成像框架，通过对成像链路中的光路传播与数字传感进行联合编码，扩宽成像链路信息流传输维度，再结合专用的计算解码算法，实现信息复原的目的。光学编码作为这一技术的核心，通过剖析不同光学元素对系统带宽积的影响，分布式编码光学成像元素，最大化成像过程信息容量。这一过程的关键在于如何设计最优的编码策略实现信息的高效编码和捕捉，同时保证所获得的信息具有高质量和低冗余。计算解码是这一技术的另一核心，针对光学编码模型，设计人工智能算法对编码光信息进行解码，进而完成高保真重构。这一过程的关键在于如何设计高鲁棒及低算力的解码算法实现对编码信息的高质量重构，同时保证整个系统的可移植性及易部署性。但目前的编解码方式依然是根据成像任务人为设计的，这使得完美的编解码策略难以实现。未来，有望建立完整、精准的光源-光路-传感-计算信息流传输理论，并借助人工智能算法自适应地确立最佳的混合编解码计算成像系统。

2.1.2消色差成像

传统的光学设计消色差方法侧重于通过设计复杂的高阶光学元件来实现无色差成像。目前先进的超表面阵列透镜（metalens）［24-25］可以在亚波长分辨率下完成光信息调控，成为平面光学元件消色差中较有前景的技术，但此类方法目前的高成本和硬件加工难度一定程度上限制了推广实用性。近年来，基于简易光学系统的计算消色差成像技术迎来了迅猛发展，将部分图像恢复任务从光学设计硬件转移到后期计算处理中，能够大幅降低物理成像系统的成本和装配体积。根据是否需要光学先验信息，计算色差成像技术主要可以分为两类：基于图像盲复原的色差消除成像和光学-算法协同设计的消色差成像。

1）基于盲复原的消色差成像

传统的图像盲复原方法是在没有光学系统先验知识的情况下实现消色差成像的，此类方法通常基于模糊图像自身的数据分布特性设计去模糊算法，例如，可以使用跨越色彩通道的目标边缘的颜色和位置先验知识来设计算法，实现色差校正［26］。随着深度学习技术的发展，各类神经网络框架在图像去模糊任务中展现了超越传统算法的出色性能，而色差校正也可视为图像恢复任务，即以大量训练数据驱动网络对色差进行自动分析和补偿。

对于上述盲复原算法，只依靠图像域的分析而忽略了光学退化形成的先验知识，即光学系统的成像特性，会导致光学成像（编码）模块与算法解算（解码）模块不能协同设计，容易使重建结果陷入局部最优，进一步导致训练模型在实际应用中性能下降。因此，光学设计与算法后处理的协同设计逐渐成为目前主流的计算成像消色差技术。

2）光学-算法协同设计的消色差成像

端到端优化方法将光学系统设计过程与后处理算法相结合，以实现高通用性。图9展示了一种光学系统PSF和图像处理算法协同设计的计算消色差成像框架，通过设计PSF分布实现全波段的输入光场编码，对每个输入波长的PSF进行学习，拟合不同通道PSF间差异，并配合使用图像后处理网络消除此类差异，实现色差消除和场景源信息恢复［27］。网络优化目标为重建图像与真值图像的差异最小化，监督网络结构及二元光学元件参数相互配合实现色差消除。

深度学习技术日趋成熟，但其往往依赖大量的训练数据。在计算成像方法设计中除了将计算链路用于图像质量提升，还可将计算的思想延伸到成像模型仿真模拟中。这样做的好处在于，可以创建一个数字孪生光学物理模型用于仿真模拟色差训练数据集生成，大大降低了获取训练数据的成本。图10展示了一个基于光学PSF模型的成像仿真系统，仿真数值计算过程可以基于传统光线追迹完成，也可通过物理光学衍射传输模型建模［28］。该框架利用光学系统的光学参数以及相机后端的图像后处理（ISP）系统对整个成像过程进行建模，用数字化仿真信息模拟图像信息传播，获得物体经过光学系统和相机ISP后的成像结果。此仿真模型可用于生成对应相机的训练数据（清晰-色差图像对），避免大量的数据拍摄和训练数据收集，只需提供准确的成像参数或透镜结构，就能获得精确的仿真成像结果。

沿此思路，若可以精确仿真每一个光学元件的成像参数，可直接将硬件参数优化与网络优化在时序上同步，代表性的工作即为相机在环训练。此类技术解决了仿真模型和实际物理模型不匹配的问题。不同于传统深度学习网络“数据采集-哺育网络-参数优化”的训练模式，在环训练的基本思想是在采集数据集时就通过指导成像系统参数优化找到最优成像模式。图11展示了一个利用相机在环训练方式实现消色差扩景深的例子，其中空间光调制器（SLM）可视为成像系统参数的可调节变量［29］。采集数据时，损失函数经过神经网络反向传输到SLM，直接参与调整SLM的掩模分布，得到硬件及时反馈并指导网络参数更新。此类技术可以最大程度发挥硬件系统的性能，并与后端处理算法高度配合，实现高质量的消色差成像。

综上所述，计算成像消色差技术的发展关键在于数学建模与算法优化、结合深度学习与光学设计实现高质量实时处理。数学模型和高效算法的应用使系统能够准确补偿色差，使多通道成像传感器获取不同波长的信息，使深度学习算法提高自适应性，使光学设计减少色差源，高效处理与硬件加速确保实时性能，自动化校准技术降低人工干预。未来计算成像消色差技术的发展方向包括全光谱成像、智能相机与移动设备集成、在虚拟与增强现实领域应用，整体趋势是综合光学、计算机视觉、人工智能等多学科创新，提高成像系统性能和可靠性，满足日益增长的图像处理需求。

2.2信息增强

不同于信息复原的“矫正”，信息增强旨在利用多样化的编解码手段实现成像信息的“拓展”。典型的例子包括低光成像和多光谱成像：前者拓宽了成像的亮度应用场景，对低照度环境下的信息实现计算增强；后者则直接在波长维度实现源信息拓展。

2.2.1低光成像

低照度成像作为极端成像的典型案例，在安防监控、自动驾驶等领域有着非常重要的应用。然而在低照度下，由于成像光子数量有限和噪声污染，信息通量损失尤为严重，成像质量低，光学系统的空间带宽积受限。针对这一问题，学者们已经做了许多优秀的工作，其中计算光源低光成像和计算传感低光成像是两种具有代表性的方法。

1）计算光源低光成像

低照度环境下，增加补光是常用的技术手段。但为了实现较好的补光效果，传统采用高强度白光进行持续照明，但这会导致图像光照不自然、光污染、照亮距离有限等问题。为了解决这些问题，学者们提出了多种优化补光方式，实现针对目标任务及场景的计算增强低光成像。例如：针对光照不自然问题，提出了闪光/无闪光两张图像融合［30-32］；针对光污染问题，采用不可见光（近红外或紫外）补光灯［33-40］或人眼响应不强 烈的深红光补光灯［41］；针对照亮距离有限问题，提出了点阵闪光灯助力远距离低光成像的方法［42］。2004年，Petschnigg等［31］将闪光图像的细节及未闪光图像的颜色融合在一起，克服闪光带来的光照不自然问题， 图12为实验效果图，经过融合，闪光引起的光照不自然得到明显缓解。

2009年，Krishnan等［32］使用近红外光和紫外光作为补光光源以克服光污染的问题。2021年，Xiong等［41］利用人眼视觉细胞在低光环境下对深红色光的响应很低的特性，使用深红光作为补光光源来缓解光污染问题，再通过闪光/非闪光图像融合实现低光成像，如图13所示，经过融合，实现噪声消除和细节恢复，大幅提升图像质量。

但在远距离低光成像下，随着补光距离的增加，光强呈二次方衰减，使得在传统均匀闪光灯辅助下记录的光信号强度普遍弱于噪声强度，很难完成重建。为了克服这个问题，2022年，Sun等［42］提出点阵闪光灯技术，在该模式下，部分像素的光信号强度强于噪声强度，利于完成场景信息复原。图14（a）为传统均匀闪光下记录及复原的图像，图14（b）为点阵闪光下记录及复原的图像，相比可知，点阵闪光可以实现更远距离的低光成像。

在探索计算成像技术尤其是低光条件下的成像挑战时，计算光源低光成像技术已经取得了显著的进展，通过结合光源编码与计算解码，实现低照度下的信息增强。光源编码与计算解码是计算光源低光成像技术的两大核心，通过建立人眼视觉与机器视觉对不同光谱的响应差异模型，针对特定的成像任务，对光源编码实现多元感知，增强系统的感知能力，并降低光源对人眼视觉的影响，再结合特定的计算解码算法完成信息的重构和增强。但目前该技术仍受限于光源谱段及发射模式单一问题，未来，有望联合人工智能算法得到端到端优化，获得最佳的光源谱段与发射模式，实现对场景的多维度感知，助力实现各种极端光照条件下的信息增强。

2）计算传感低光成像

计算传感成像技术通过优化RAW图像记录和处理模式，实现源信息增强。传统时序分布式imagesignalprocessing（ISP）对RAW图连续进行包括去马赛克、白平衡以及gamma校正等操作，但由于其存在自适应能力弱、手工调参复杂及误差累积等问题，难以实现快速、高质量的低光成像。2018年，Chen等使用全卷积神经网络对RAW图进行操作并直接输出RGB图像，替代传统ISP过程并实现了快速低光成像［43］。图15为方法流程。随着信息处理和存储技术的快速发展，多感知融合也已经成为实现低光成像的重要技术。2021年，Karadeniz等对多次感知得到的多张RAW图进行端到端重建，实现了极低照度下的成像［44］。如图16所示，该方法比传统ISP方法展现了更优越的图像性能。

不同于传统ISP处理，计算传感低光成像借助人工智能算法直接对RAW图进行端到端处理，减小数据处理时延，并避免了传统ISP过程中的累积误差，实现高保真的信息增强。端到端RAW图像处理算法是该技术的关键，但高鲁棒及快响应的算法设计是非常困难的，尤其面对极端环境时。未来，有望联合设计计算传感、计算光源及混合编解码，实现对场景的精细感知，相应地也可以结合新型传感器（比如RYYB、SPAD等），实现各种极端环境下的高质量信息增强。

2.2.2计算光谱成像

多光谱图像（HSI）可被视作一个三维数据立方体，包含二维空间坐标和一维光谱坐标，包含了每个像素位置光谱信息。多光谱数据可以利用反射率特征揭示目标固有的材料属性，这使得HSI在科学和工业的各种领域中获得广泛应用，如材料分类［45-46］、目标检测［47］、食品安全分析［48］和医疗诊断［49-51］等。

传统的机械式空间光谱扫描系统［52］通过色散棱镜记录场景中一条狭缝的光谱，然后扫描整个场景以捕获完整的高光谱立方体。而谱间扫描方法通过不同波段滤波元件的窄带滤波在光谱维进行扫描，对每个光谱通道进行独立重建。这些方法需要精确的运动部件控制，多适用于静态场景，牺牲了时间分辨率。

相较于扫描式的光谱成像手段（如空间扫描、谱间扫描等），计算多光谱成像技术的侧重点在于光学编码和计算解码，使用多样化的编解码方式达到简化硬件光学系统和加速光谱重建的目的。其中，编码方式主要包括空间位置编码和谱间信息编码，空间编码可以利用空间掩模、高速DMD等元件实现，谱间信息编码可以通过棱镜、光栅等色散元件或颜色滤波片实现。

1）散射-孔径-色散编码，TwIst解码

经典的计算光谱成像系统codedaperturesnapshotspectralimager（CASSI）具备同时囊括空间、谱间两种编码手段的能力。图17展示了一个典型的计算光谱成像系统结构，其中散射介质协同编码孔径进行空间编码，协同色散棱镜完成光谱编码［53］。该类方法可以根据给定的（或可优化的）二值空间编码孔径求解最优化问题，采用图像恢复阈值化算法（TwIst）实现单次曝光下的光谱重建。

2）散射-滤波编码，ADMM解码

散射介质因具备高度的空间编码能力，也广泛应用于光谱成像设计中［6］。如图18所示，系统采用散射介质进行空间编码，同时利用传感器上定制的像元镀膜彩色滤波阵列实现光谱编码，相较于图17中的系统，拥有更小的体积，而后使用交替乘子算法（ADMM）实现光谱解码。但此类像元镀膜方法将多个镀有彩色滤波片的像素视为一个超像素，导致系统的空间分辨率会随着波段的增加而降低，即空间分辨率与时间分辨率间仍存在取舍。

在计算光谱成像系统中，除了研究多样化的编码策略，配套的解码算法优化也是众多科学家关注的领域。解码过程可看作是解算一个非凸优化问题，除了TwIst和ADMM等压缩感知领域经典的迭代优化算法，也可采用近年来兴起的基于端到端学习的深度神经网络算法。在解码过程中，由于已知的传输方程数量通常低于重建光谱中的未知量，上述优化问题通常是病态问题。此时通常会加入如光谱的平滑性、稀疏性等额外的先验信息及约束以获得高精度的光谱重建。

数据驱动的解码模式在处理上述病态逆问题时通常拥有相对出色的表现。因此，随着解码模块及GPU算力的不断增强和发展，许多轻量化的编码模式陆续出现在人们的视野中，其中最为典型的例子即为衍射光学编码元件（DOE和metalens等）。通过混合相位编码，利用微米级的加工精度实现对光谱信息的精准调控，结合多样化的网络算法，催生了多类快照式、便携式的光谱成像仪器。

3）DOE编码，UNet解码

图19展示了一个利用二元光学元件（DOE）实现精准光谱编码的成像系统，通过对DOE表面的对称化设计，该工作实现了在不同光谱通道下获取旋转对称的空间PSF强度分布的目标［54］。依据旋转对称的PSF特性，设计相应的神经网络模型UNet学习均匀模糊核特征，提高反卷积算法的收敛速度。旋转对称的PSF具有强度分布的一致性，此类特性有利于反卷积算法的加速收敛，帮助神经网络学习模糊核特征，提升网络学习效率。

4）DOE-CFA编码，UNet解码

近年来，端到端优化成像系统是计算成像领域的研究热点。端到端优化的思想是为了连通编码、解码模块，避免二者独立优化而无法达到全局最优，这一思想也逐步被用到计算光谱领域。图20展示了一个端到端优化的系统框架，光线通过位于传感器附近的DOE进行衍射，然后通过彩色滤波阵列（CFA）进行滤波［55］。其中CFA的对称化设计可以减少PSF的计算量。DOE和CFA参数使用端到端方法与解码网络UNet联动设计，最终利用全可微的成像模型最小化真值光谱图像与重建光谱图像之间的偏差，实现硬件系统与软件算法的深度融合，避免编解码模块陷入各自的局部最优。

综上所述，计算多光谱成像技术的发展关键在于发展新型编解码技术，包括先进传感器、光学设计技术、先进滤波器、高效数据融合与处理算法、实时处理与计算能力及无损压缩技术等。计算光谱技术的未来发展方向在于研究如何进一步提高光谱分辨率，整合机器学习和人工智能技术以实现更精准的目标检测，有望应用于智能决策支持系统并拓展至生物医学领域，推动自动化和机器视觉应用。

3 总结

“计算”与“成像”相辅相成，二者的共同目标是拓宽信息流传递带宽，从而更大程度保留源信息，提高成像带宽积。“计算”这一概念可以引入到整个成像链路中的不同位置，包括光源域、物体域、成像域、传感域以及图像域。在光源域中可以采用“计算照明”的思路优化照明系统的角度、波长等，实现光源编码；在成像域中，可建立端到端成像模型，使成像元件参数如透镜曲率、物像距、相位/振幅调制等参与计算优化，提高光信息传输效率；在传感域中，可以将传感器灵敏度参数和响应波段植入系统设计，与前序成像光学系统联动优化，实现高保真、高效率信息记录及重建；而在图像域中，采用多样化的图像后处理算法，实现高质量的图像重建。随着深度神经网络框架日趋成熟、硬件算力飞速提升，计算成像系统未来发展空间广阔。

本综述基于计算成像系统的多域理论，深入探讨了“各域内部、多域联动”的多种技术发展方向，并回顾了从图像复原到图像增强、从神经网络框架设计到全链路优化的多项代表性技术的研究成果。因高效率、精简化特性，计算成像已广泛应用于众多领域，包含医疗诊断、智能交通、虚拟现实、航空探测等。而随着光学及计算科学的快速发展，计算成像的多学科交叉优势也将进一步展先，例如以目标任务为导向的光学系统设计及图像理解、更完整的源信息获取及增强、深度智能化的光信息编解码、5G时代的计算互联等。我们也坚信，计算成像的理论和技术发展也将反馈相关学科的共同进步。

文章来源：激光与光电子学进展 第61卷 第2期

原文链接：http://www.opticsjournal.net/Articles/OJ5d6d1b5cea32d95c/Abstract

作者：贺天悦，寇廷栋，张启灿，陈文静，申俊飞（四川大学电子信息学院，四川 成都 610065）

声明：转载此文目的在于传递更多信息，仅供读者学习、交流之目的。文章版权归原作者所有，如有侵权，请联系删除。