综述《散射成像研究现状及展望》阅读笔记

最新推荐文章于 2024-05-11 22:50:40 发布

看你们开车

最新推荐文章于 2024-05-11 22:50:40 发布

阅读量1.8k

点赞数

分类专栏：光学笔记文章标签：笔记图像处理

本文链接：https://blog.csdn.net/weixin_44306507/article/details/132007900

版权

光学笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

散射成像研究现状及展望

摘要

一、该文章综述了散射成像技术的发展，从弹道光和散射光的角度出发分析介质的散射特性
二、介绍了弹道光和散射光在时域上存在的可分离性
三、分析比较了各类散射成像技术，并展望了其发展趋势

引言

散射介质内部复杂的折射率及反射率分布，使光线在经过散射介质时会改变其原有的传播方向，导致光电成像系统在散射环境下往往无法正常工作

在实际散射场景下，传感器节后速到的散射信号由两类光子产生

弹道光子：光线传播中未经散射直接到达传感器的光子

弹道光子单独被传感器采集时，能直接反映目标物或场景的有效信息

散射光子：传播中受到散射影响，传播方向、传播时间相干性等性质发生变化的光子

剩余的光子中，除了被吸收的部分无法被传感器采集外，散射光子由于在传播过程中受到多次散射碰撞，传播路径随机改变且难以估计，该部分光子作用在传感器上破坏了弹道光子的有效信息，是导致散射图像降质的主要原因。

产生原因：传播过程中的吸收与散射

吸收的描述

平均吸收程 $l_{ab}$ : 光子在介质的吸收作用下所经过的平均距离
吸收系数 $\beta_{ab}=1/l_{ab}$ :平均吸收程的倒数

散射的描述

散射平均自由程 $l_{sc}$ :光在介质中发生相邻两次散射事件所需要传播的平均距离
散射系数： $\beta_{ab}=1/l_{sc}$ :散射平均自由程的倒数

实际的散射介质中散射与吸收同时存在

衰减系数 $\beta_{t}=\beta_{ab}+\beta_{sc}$ :用于同时描述散射与吸收
平均自由程： $1/\beta_{t}$

根据光传播中发生的散射次数对散射介质分类

	散射次数	例子
面散射介质	仅发生一次散射	薄磨砂玻璃、白纸、墙面
体散射介质	介质体中发生多次散射	雾气、生物介质、浑水

根据重建时利用的光子类型对重建方法进行分类

利用散射光子重建
- 利用记忆效应
- 利用成像响应求解成像逆问题，即传输矩阵
分离散射光重建
- 分离弹道光与散射光，从弹道光中获得信息
- 两种分离方法
  - 空域散射光分离
    - 将散射图像看做散射光与弹道光的空域线性叠加
    - 对图像要求低、单帧也可以实现分离
  - 时域散射光分离
    - 利用散射多路径效应引起的弹道光子和散射光子在传播时间上的差异，对弹道光子和散射光子从时间维度进行区分
    - 超高时间分辨技术又具有区分到达时间、建模弹道光子飞行路径和分析幅度调制光相位三种实现方式

利用散射光的成像方法

利用散射介质空域特性的重建方法

波前调制

图１波前调制散射成像技术。图１波前调制散射成像技术。（a）利用SLM 对非相干光源经过散射介质的波前进行调制，散射介质为10x20°扩散片(Newport);(b)传统彩色相机拍摄到的目标物经过散射介质的图像（插图为目标物未经散射介质时的图像）;©相同目标物经过散射介质和SLM 相位调制之后的结果，比例尺为３ｍｍ

定义：将散射介质PSF由散斑形态校正为脉冲函数δ形态，进而直接在记忆效应范围内实现透过散射介质的成像

$I=O\ast\delta=O \ \ \ \ \ (2)$

卷积在光传播过程中的应用是基于光的线性性质和卷积的数学定义。下面解释一下为什么卷积可以描述光传播过程：

光的线性性质：光在介质中的传播满足线性叠加原理，即当多个光波同时存在时，它们的传播可以通过简单的叠加来描述。这意味着光波可以按照叠加原理进行分解和合成。
卷积的定义：卷积是一种数学运算，它描述了两个函数之间的关系。在光学中，我们可以将光场视为一个函数，表示光在不同位置上的强度或复振幅。通过卷积运算，可以将两个光场的函数进行叠加和加权，从而得到它们在一起传播时的结果。
光的传播过程：光在传播过程中会受到介质的影响，如散射、衍射、吸收等。这些影响可以通过光场与传播介质的相应函数（如点扩散函数）进行卷积来描述。卷积运算将光场与点扩散函数按照一定的规则相互作用，从而模拟出光在传播过程中的影响。

通过卷积运算，我们可以得到光在传播过程中的新的光场分布。这个新的光场分布包含了传播介质对光的影响，可以反映出光的传播路径、散射效应、聚焦效应等信息。

总结起来，卷积可以描述光传播过程是因为光满足线性叠加原理，卷积是一种能够描述函数之间关系的数学运算，通过将光场与传播介质的函数进行卷积，可以模拟出光在传播过程中的影响和变化。这使得我们可以使用卷积来描述光的传播行为，并在图像恢复等应用中进行光传播模拟和计算。

散斑出现的原因：入射到散射层的光由于散射的存在，入射光波前的各个区域在穿过散射层的过程中会经过不同的距离，相当于给各部分波前附加了随机相位，导致相干叠加后的图像失真
波前调制的原理：波前调制是在光路中插入空间光调制器（SLM）或其他相位补偿装置,抵消散射层随机相位的影响,最终将散射成像系统校正为一个传统的几何透镜成像系统。

波前调制的具体实现

对系统进行入侵式标定（在成像系统中移动或改变目标物的位置以完成标定）。 波前调制可以通过入侵式标定来对光学系统进行校准和调整。入侵式标定是指在波前调制系统中，通过对系统的特定参数进行测量和调整来实现校准。以下是一般的入侵式标定步骤：
1. 系统参数测量：首先需要测量光学系统的相关参数，例如光学元件的位置、角度、透射特性等。这可以通过光学仪器、传感器或者精确测量工具来完成。测量的结果可以用于后续的标定和调整过程。
2. 系统校准：根据测量得到的参数，对光学系统进行校准。这包括调整光学元件的位置、角度或者其他相关参数，以确保系统能够按照预期的方式进行波前调制。
3. 标定样本：为了更准确地标定系统，可以使用已知形状或特定特征的标定样本。这些样本可以是校准板、校准器件或者具有特定结构的物体。通过观察标定样本在系统中的成像效果，可以调整系统参数以达到更精确的标定结果。
4. 反馈校准：在实际应用中，可以利用反馈控制系统来进行实时的校准。通过使用传感器或者反馈信号监测系统输出，并与期望的结果进行比较，可以对系统参数进行动态调整和校准，以实现更精确的波前调制效果。
  入侵式标定需要仔细的测量、调整和校准过程，以确保波前调制系统的准确性和稳定性。通过对系统进行入侵式标定，可以使波前调制系统更好地适应不同的应用需求，并实现高质量的图像恢复、光束整形和自适应光学等功能。
以非相干点光源或相干光入射系统。
相干光和非相干光是描述光波的两种不同性质。

相干光是指光波的振动在时间和空间上具有一定的关联性。它是由同一光源发出的光波，具有相同的频率、相位和波长。相干光的特点是波峰和波谷之间存在明显的相位关系，可以通过干涉现象进行干涉和衍射等实验。相干光的干涉效应可以产生明暗相间的干涉条纹，可以实现高质量的成像和精确的测量。

非相干光是指光波的振动在时间和空间上没有固定的关联性。它是由多个独立光源发出的光波，具有不同的频率、相位和波长。非相干光的特点是波峰和波谷之间没有确定的相位关系，波动行为随机而不可预测。非相干光在传播过程中会产生弥散和散射现象，导致图像模糊和降低分辨率。

在实际应用中，相干光和非相干光具有不同的应用场景和特点：
- 相干光常用于干涉、衍射和波前调制等实验和技术中。由于相干光具有明显的相位关系，可以通过干涉现象实现高分辨率的成像、精确测量和光学处理等应用。
- 非相干光常用于照明和一般的照明应用中，如日光、白炽灯等。非相干光的特点是波峰和波谷之间没有明确的相位关系，适合用于均匀照明和一般照明需求，但在干涉和衍射等实验中会引入不可预测的噪声和模糊。
总之，相干光和非相干光是描述光波的两种不同性质，它们在光学实验、成像和应用中具有不同的特点和用途。
以感光平面的强度水平、散斑特性、生物荧光信号等作为反馈信号，利用连续调制算法、遗传算法及和声搜索算法等方式不断补偿相位
将入射光透过散射介质聚焦成感光平面的一个点，即PSF校正为脉冲函数δ时停止补偿

成像效果

相位补偿后的系统可近似为“透镜”成像系统，可在记忆效应范围内对目标物实现成像，但成像视场相对受限，同时反馈优化过程也受时效性的限制。

优化

结合超声标签技术，波前调制的聚焦能力可由透过散射介质形成聚焦提升至在散射介质内部任意一点形成聚焦

该方法通过在散射介质中引入超声标签，并结合超声技术和光学调制技术，实现了在介质内部的任意一点形成聚焦。

具体地，作者使用超声标签技术在散射介质中引入了特定的标记物质或微泡，并利用超声波在介质内部形成了一个特定的声场。然后，作者通过控制激光光束的传播路径和相位，将光学信息与声场信息进行编码。接着，作者使用反向传播的方法，将编码后的光学信息与声场信息解码回到散射介质中，从而实现了在介质内部的聚焦。

该技术的优势在于，它不仅实现了在散射介质内部的聚焦，而且可以实现更高的分辨率和更精确的聚焦位置。这为深海成像等领域提供了新的可能性和应用前景。

总的来说，这篇文章介绍了一种基于超声标签和光学调制的新型成像技术，该技术实现了在散射介质内部的高分辨率聚焦，为光学成像在复杂介质中的应用带来了重要的突破。

反卷积成像

图２基于 PSF反卷积的散射成像方法图２基于 PSF反卷积的散射成像方法(a)光路图，作为目标物的掩模透过120grit磨砂毛玻璃(Thorlabs)后成像在CMOS相机上;(b)未加入散射介质时的成像结果;©加入散射介质后相机采集到的失真图像;(d)将目标物替换为针孔后标定得到的系统PSF;(e)反卷积重构结果，比例尺为200μｍ

实现方法

反卷积成像将目标物替换为点光源，替换过程中目标物和点光源的深度及空间位置信息需保证相同，侵入式标定来自系统某特定空间位置的PSF，再利用反卷积算法从散射强度图像I中高分辨率地重构目标物
$O=Deconv(I,F_{PSF}) \ \ \ \ \ (3)$
$O$ :重构目标物图像强度
$Deco n v$ ：反卷积函数
$I$ :散射强度图像
$F_{PSF}$ :系统特定空间位置的PSF

反卷积算法RL

反卷积算法RL（Richardson-Lucy算法）是一种用于图像恢复和图像去模糊的迭代算法。该算法是基于最大似然估计的原理，旨在从模糊或退化的图像中恢复出原始图像。

RL算法假设图像的模糊过程可以用一个卷积核（点扩散函数）来表示，即原始图像与该卷积核进行卷积后得到模糊图像。然后，RL算法试图通过迭代的方式估计出原始图像，使得经过与卷积核的卷积后的结果与模糊图像尽可能地接近。

算法的迭代过程如下：

首先，给定模糊图像和初始估计的原始图像。
然后，将原始图像与卷积核进行卷积，得到模糊图像的预测值。
接下来，计算预测值与实际模糊图像之间的误差，得到残差图像。
根据残差图像，调整原始图像的估计值，使得预测值与模糊图像的误差最小化。
重复上述步骤，直到估计的原始图像收敛或达到一定的迭代次数。

通过多次迭代，RL算法逐步逼近原始图像，并在一定程度上还原出模糊图像中的细节。该算法在一些图像恢复和图像去模糊的任务中表现较好，但也存在一些问题，如可能引入噪声和伪影等。因此，在实际应用中，需要根据具体情况选择合适的算法和参数来实现图像恢复或去模糊。

波前调制与反卷积的区别以及为什么使用不同的光源

波前调制与反卷积的方法在图像恢复中使用不同的光源，主要基于它们的原理和应用场景的不同。

波前调制是一种通过改变光的相位来控制光波前的方法，它通常使用空间光调制器（例如液晶显示器）来改变入射光的相位分布。通过调制光的相位，可以在传播过程中引入特定的相位畸变，进而实现对光的波前进行调控。波前调制通常用于校正或补偿光学系统中的相位畸变，例如减少散射或像差，从而改善成像质量。

相比于点光源，波前调制使用的光源可以是空间上具有一定尺寸和空间分布的光源。这是因为波前调制的目的不是直接估计系统的点扩散函数（PSF），而是通过调制相位来改变光的波前特性，以实现特定的功能，如焦距调节、像差校正等。

反卷积方法则是一种基于图像卷积运算的逆过程，通过反向操作卷积核来恢复图像的细节和清晰度。在反卷积中，使用点光源的目的是获得系统的点扩散函数（PSF）估计，以便进行逆滤波或最小二乘解算等反卷积算法。点光源的小尺寸和局部性质使其能够提供关于系统PSF的信息，从而实现对图像模糊的逆处理。

总之，波前调制和反卷积方法在图像恢复中使用不同的光源，是基于它们各自的原理和目的。波前调制通过调控相位来改变波前特性，用于光学系统的校正和优化；而反卷积方法使用点光源来估计系统PSF，并进行图像恢复。两种方法在应用和算法上存在差异，因此使用不同的光源来实现各自的功能和目标。

三维反卷积成像

三维多深度目标物形成的散射强度图像Ｉ经过不同标定深度的PSF反卷积重建，即可恢复三维物体在各自不同标定深度下的信息

无透镜3D相机DiffuserCam，以预标定的散射介质作为成像器件，实现单次曝光下的目标物三维重建和彩色三维重建

DiffuserCam的装置图和重建原理。无透镜系统由传感器和传感器前插入的散射介质（0.5°Liminit扩散片）组成。系统将三维场景信息编码在传感器的二维图像中，并预标定不同深度位置的点光源经过散射介质后的图像，最后结合场景的稀疏性先验求解非线性逆问题，实现从单帧二维图像到三维场景的计算重构

重建步骤

系统将三维场景信息编码在传感器的二维图像中
预标定不同深度位置的光源经过散射介质后的图像
结合场景稀疏性先验求解非线性逆问题
从单帧二维图像到三维场景的计算重构

通过变换关系减少重建所需标定数

后续研究人员发现不同标定深度的PSF之间存在变换关系，极大减少了三维重建所需的标定数，同时扩大了反卷积成像算法的有效深度范围，也可应用于散射下的目标物追踪

这种变换关系可以用缩放变换描述
也可以用散射光场传播模型描述
- 在散射光场传播模型中，描述不同标定深度（也称为焦深）的点扩散函数（PSF）之间的变换关系涉及到光的传播和散射过程。
- 一种常见的方法是利用传输矩阵（Transfer Matrix）来描述不同深度的PSF之间的变换关系。传输矩阵是一个描述光在散射介质中传播的矩阵，它可以将一个入射光场映射到散射介质中的某个深度处的散射光场。
- 通过计算不同深度处的传输矩阵，可以将一个点源的入射光场的PSF映射到不同深度处的PSF。 这样，就可以获得不同深度处的PSF之间的变换关系。
- 具体而言，对于给定的入射光场和散射介质的特性，可以计算出传输矩阵，并将其应用于入射光场的PSF。 这将给出在不同深度处的散射光场分布。通过比较不同深度处的散射光场分布，可以得到它们之间的变换关系，包括形状、尺寸和强度的变化。
- 需要注意的是，散射介质的复杂性和非线性特性可能会对PSF的变换关系产生影响。因此，在实际应用中，可能需要考虑更复杂的模型和方法，如蒙特卡洛模拟或计算光学方法，以更准确地描述散射光场的传播和变换。
- 总而言之，通过散射光场传播模型，可以描述不同标定深度的PSF之间的变换关系，这对于实现深度信息提取、三维成像和图像重建等应用非常重要。
- 通过计算不同深度的传输矩阵将一个点光源的入射光场PSF映射到不同深度

通过单色相机实现彩色目标重建

PSF的分布也受标定光波长的影响，可以将波长间隔较远的PSF间的独立性引入到反卷积算法中，通过标定不同波段的PSF，在单色相机下实现目标物彩色重建，将不同波长PSF之间的联系用缩放变换描述，可以减少彩色重建所需的独立波长标定次数。

反卷积成像的优缺点

优点：反卷积的方法能够高分辨率地重构目标的结构信息，并且相对较快速，整个采集以及计算过程只需要几秒钟，且在三维重建及彩色重建方面表现出一定的优势。
缺点：但是标定PSF的方案是侵入式的，无法应用于未知场景，同时无法适应动态散射介质下的成像要求。

扩展记忆效应的视场（FOV）范围

由于记忆效应仅在一定视场（FOV）范围内有效，因此需要扩展记忆效应算法的视场范围，面向多目标构成的大视场进行散射重建。

先验式视场扩展

德国Ｓｉｎｇｈ等首先在物体平面人工置入一个和物体相互远离的小孔，利用小孔和物体的互相关直接成像，其成像视场范围略大于记忆效应成像的范围，同时算法对干扰具有更好的鲁棒性，但人工置入小孔的方式属于侵入式成像，应用受限。
- 互相关（Cross-correlation）是一种在信号处理和图像处理中常用的运算，用于衡量两个信号之间的相似性或相关性。它在时间域和频域中都有定义，但在这里我们主要关注时间域的互相关。
  给定两个信号f(t)和g(t)，它们的互相关函数定义为：
  $C(f,g)(\tau)=\int f(t)\ast g(t=\tau )dt$
  其中，* 表示卷积运算，τ是时间延迟。
  互相关可以用来找到一个信号在另一个信号中的匹配位置。当两个信号高度相似时，互相关函数在其匹配位置将达到峰值。 互相关可以应用于许多领域，例如模式匹配、物体跟踪、图像配准等。
  
  在图像处理中，互相关通常用于图像配准，即确定两幅图像之间的几何变换关系。通过计算两幅图像的互相关函数，可以找到最佳的平移、旋转、缩放等变换参数，从而将图像对齐。互相关在图像匹配、模板匹配和物体跟踪中起着重要的作用。
新加坡南洋理工大学课题组Ｔａｎｇ等预先标定不同空间区域的PSF，如图６所示，通过PSF反卷积重建各自区域的物体，最终将各区域的重建物体加权融合成一个完整的空域大视场图像。
图６以PSF多次标定实现透过磨砂毛玻璃的记忆效应视场扩展（ａ）实验装置图；（ｂ）目标物平面的空域分布；（ｃ）叠加的重建结果（比例尺为1mm）
- 利用该系统采集到的多目标物形成的散斑 $I_{total}$ 为
- $I_{total}=\Sigma^{n}_{k-1}O_k\star F_{PSF,k} \quad (5)$
  - F-PSF,k表示位于物体O-k附近的散射介质的点扩散函数
- 在非相干光源的照射下，将多个相互分离的目标物形成的散斑线性叠加，构成了最终相机所采集到的散斑。这其中，每个物体的尺寸位于记忆效应范围内，而相邻两物体之间的间距大于记忆效应范围，同时多物体构成的完整大视场范围远大于记忆效应视场范围。
- 利用PSF仅在记忆效应范围内保持平移不变性的特性，即
- $F_{PSF,j}\otimes F_{PSF,k}=\begin{cases}0,\quad &j\neq k\\\delta,\quad &j=k\end{cases} \quad (6)$
- 从 $I_{total}$ 中解耦重建不同位置的目标物，有效实现多重目标重建的同时也增加入侵式预标定的次数
  $I_{total}\otimes F_{PSF,j}=\Sigma ^n_{k=1}[(O_k \star F_{PSF,k})\otimes F_{PSF,j}]=O_j \star \delta = O$
国防科技大学Ｌｉ等改进了多区域PSF预标定的装置，以时间换空间，通过多帧采集一次性侵入式标定不同空间区域的 PSF，极大简化了标定过程。
西安电子科技大学Ｇｕｏ等在已知某一参考物形状的前提下，实现了双物体超记忆效应范围的散射成像，恢复了双物体中未知物体的形状。
此外，光学低通滤波技术和傅里叶叠层成像技术也被用于记忆效应成像技术的视场拓展。

无先验视场扩展

图７双目标物大视场无先验散射成像实验图７双目标物大视场无先验散射成像实验(a)实验装置图;(b)(e)经过散射介质（220grit磨砂毛玻璃，Thorlabs)后形成的散斑及对应的散斑自相关;©(f)真实双物体“2F”掩模和“FL”掩模;(d)(g)由自相关分离重建的最终结果（比例尺为96μm）

为解决无先验多目标大视场散射重建的难题，本文作者课题组提出一种基于目标物频域分析的视场扩展方案，如图７所示，在双目标物组成的视场远大于记忆效应范围的前提下，针对单曝光散斑图像Ｉ，利用基于目标物的频谱猜测和能量限制的迭代优化算法，实现线性叠加的自相关信号的无先验分离解耦,并结合相位恢复算法重建双目标物各自的空域分布。
$I\otimes I=O_1 \otimes O_1 + O_2\otimes O_2+(O_1\otimes O_2)\star(F_{PSF,1}\otimes F_{PSF,2})+(O_2 \otimes O_1)\star(F_{PSF,2}\otimes F_{PSF,1})=O_1 \otimes O_1+O_2\otimes O_2 \ \ \ \ (7)$

通过傅里叶频谱猜测和迭代能量约束补偿，每个成像目标的自相关性可以从记录的双目标散斑的自相关性中盲分离出来。与相位恢复一起使用，可以通过一次拍摄重建超过ME范围的双目标。
图８多目标物大视场无先验散射成像实验。图８多目标物大视场无先验散射成像实验。(a)实验装置图;(b)以多目标物掩模作为成像目标物;©多目标物形成的散射图,散射介质为220grit磨砂毛玻璃(Thorlabs);(d)利用尺度缩放矢量定位的目标物位置;(e)大视场重建结果(比例尺度为240mm)

后续，本文作者课题组通过引入轴向光场数据将成像目标物数量提升至任意多个。从图８可以看出：不同像距下的多目标大视场散斑间存在与目标物位置及数量信息相关的尺度放缩变换

$F_{PSF,d_1}(x)\rightarrow F_{PSF,d_2}[mx-(m-1)u]$

$d_1$ 与 $d_2$ 表示PSF所处的不同像距
x表示为二维空域坐标系
u表示目标物所在的位置
m表示放缩系数，可用于大视场多目标的无先验散射定位

在目标物位置信息的指导下，利用低串扰的区域分配策略实现各目标物自相关信息的解耦，并利用所提出的面向带干扰自相关信号的相位恢复改进算法重建各个目标物的空域分布，最后将重建得到的各目标物按位摆放，完成无先验多目标大视场图像的完整重构。
在这段描述中，提到了一种图像重构的方法，用于实现无先验多目标大视场图像的完整重构。该方法的核心思想是通过目标物位置信息的指导，在保持低串扰的条件下，将不同目标物的自相关信息进行解耦，即将它们分开并分别重建。为了实现这个目标，采用了低串扰的区域分配策略，即将图像划分为不同的区域，确保不同目标物的自相关信息在这些区域中相对独立，避免干扰。

接下来，利用所提出的面向带干扰自相关信号的相位恢复改进算法来重建各个目标物的空域分布。这个改进算法是为了处理图像中的干扰和噪声 ，使得重建的结果更加精确和可靠。在重建过程中，采用了目标物位置信息来引导算法的运算，以确保每个目标物的自相关信息得到准确的恢复。

最后，将重建得到的各目标物按位摆放，完成无先验多目标大视场图像的完整重构。通过将每个目标物恢复的空域分布按照其位置进行摆放，可以得到完整的大视场图像，实现对多个目标物的同时重建。

成像目标物个数及多目标物构成的视场范围无理论限制。但上述多目标散射解耦重建工作带来的视场扩展仅建立在两两相互远离的多目标物上，并不能应用在连续大物体上，这也是当前记忆效应技术发展所面临的困境，有待于进一步研究与创新。

建模传输过程的重建方法

除了在特定视场范围内利用散射介质的空域特性实现成像外，也可以通过建模光线在散射介质中的传输过程，获取散射介质成像响应的方式，实现目标物重建。在面向雾气这类体散射介质时，可通过部分散射物理参数对雾气成像响应进行直接估计，也可以在面向其他各类复杂散射介质时以先验标定的方式获取成像响应，再利用成像响应和散射图像进行更准确的目标物重建。

基于大气传输方程的重建方法

方法原理

基于大气传输方程的成像方法以雾气作为主要散射介质，在目标物自发光的前提下，将散射图像看作空域不变（或频域恒定）的散射点扩展函数与目标物卷积的结果，然后利用大气散射的经验公式或物理特性对其空域点扩展函数或对应的频域调制传递函数进行建模，最后利用反卷积的方式完成散射重建，即
$O=F^{-1}\{ F\{I\} ·F\{ F_{APSF} \}^{-1} \},\ \ \ \ (8)$
$O=F^{-1}\{ F\{ I \}·M^{-1}_{AMTF} \}\ \ \ \ (9)$
$O$ :成像目标物
$I$ ：散射图
$F_{APSF}$ 和 $M_{AMTF}$ 分别代表大气空域点扩散函数和对应的频域调制传递函数

大气点扩散函数（Point Spread Function，PSF）描述了由于大气散射引起的光传播过程中光束的模糊效应。Fourier Atmospheric Point Spread Function（FAPSF）是指将大气点扩散函数在频域中表示的方法，通常通过傅里叶变换将时域的大气点扩散函数转换为频域中的函数。
在光学图像处理中，“AMTF” 可能是指 “Atmospheric Modulation Transfer Function” 的缩写。大气调制传递函数（Atmospheric Modulation Transfer Function，AMTF）描述了光在大气中传播过程中由于大气湍流和散射引起的光强度和相位的变化。它是一种用于描述大气对图像的模糊和失真影响的函数。

依靠对实际场景的标定测量与经验公式计算获取参数

以色列Sadot等提出实际的AMTF为相似大气场景下的平均MTF加上期望为０的随机噪声，而平均MTF则需要通过测量大量的大气湍流MTF和气溶胶MTF得到。
为了免去标定测量的复杂过程，以色列Yitzhak等使用标准气象站测量的气象参数结合经验模型计算出湍流MTF和溶胶的MTF，实现平均MTF的获取。
美国Ｃｏｎｇ以大气类型、波长、散射体光学厚度和高度信息为输入，通过训练的多层非线性神经网络来仿真生成F-APSF。

使用物理模型代替经验模型

但上述依靠标定测量和经验公式计算的大气传输方程的普适性较差，难以适用于不同区域或极端气候下的大气环境。为了提高其普适性，物理模型被用来代替经验模型。美国Narasimhan等利用Henyey－Greenstein相位函数和辐射传输方程(RTE)对光在大气散射介质中的多次散射过程进行建模。

Henyey-Greenstein相位函数是用于描述散射介质中光的散射过程的一种数学函数。它是由美国天文学家Ludwig Henyey和John L. Greenstein于1941年提出的，并被广泛应用于光学、天文学、大气科学等领域。

Henyey-Greenstein相位函数是一种概率分布函数，用来描述光子在散射介质中改变方向的概率分布。它的表达式为：

$P(\theta)=\frac{1}{4\pi}\frac{1 - g^2}{(1 + g^2 - 2g\cos\theta)^{3/2}}]$

其中， $\theta )$ 是光子的散射角度， $(g)$ 是散射因子，用来描述光子的偏振性质和散射的方向性。当 $(g = 0)$ 时，散射是完全随机的，即光子在各个方向上的散射概率相等；当 $\pm 1 )$ 时，散射是完全定向的，即光子在某个特定方向上散射的概率最大。

Henyey-Greenstein相位函数在光学散射成像中被广泛应用，特别是在模拟和建模散射介质中光的传播过程时。它能够有效地描述光在散射介质中的散射特性，对于研究和理解散射现象非常有用。同时，它也在其他领域的散射问题中得到了应用，如天文学中模拟星尘的散射过程，大气科学中模拟大气光学现象等。

图９不同天气条件下的近似前向散射系数ｑ图９不同天气条件下的近似前向散射系数ｑ
图10 测量装置与F-APSF。(a)通过测量牛奶内散射验证F-APSF的仪器,一个小灯泡被放置在一个由塑料制成的球形容器的中心,实验过程中,这个容器装满不同浓度(对应不同光学厚度)的牛奶,用相机进行拍摄，以验证不同情况下F-APSF理论与实际的准确性;(b)不同天气条件下归一化为０～１的勒让德F-APSF;©广义高斯分布F-APSF的形式
图１１利用F-APSF去散射。图１１利用F-APSF去散射。(a)带有散射的电子广告牌;(b)使用勒朗德多项式估计的F-APSF去除散射的电子广告牌[从图 11(a)中提取出其中某一块亮斑，并拟合出其F-APSF，将其与图11(a)进行反卷积，获得图11(b)]；©雾气原图；(d)使用广义高斯分布F-APSF去除散射的结果

当已知光学厚度Ｔ和前向散射系数ｑ时，如图９所示，利用勒朗德多项式得到和实际点扩展函数接近的最优F-APSF估计，如图10(b)所示，该模型适用于雾、霾、雨等多种天气情况，不仅能在已知Ｔ和ｑ的条件下从相机拍摄的散射图中恢复场景的形状[图11(a)和(b)]，还可以通过将在真实环境下相机拍摄的点光源散射图与不同参数下计算的大气点扩展函数进行拟合，逆向估计天气状况。
此后，Metari等通过广义高斯分布拟合勒朗德多项式的最优F-APSF估计，得到F-APSF的解析形态[图10©]，极大简化了求解过程，并结合维纳滤波等反卷积算法以去除真实散射场景中物体反射光经散射传播带来的模糊效应，如图11©和(d)所示。
在大气散射建模中，勒让德方程（Legendre equation）是一种用于描述散射介质中光的角分布的微分方程。它是由勒让德多项式（Legendre polynomials）产生的二阶线性常微分方程。

勒让德方程在大气散射建模中的作用是描述光在散射介质中的角度分布特性。通过求解勒让德方程，可以得到一系列勒让德多项式，这些多项式描述了光在不同角度下的分布情况。勒让德多项式在光学中具有广泛的应用，特别是在描述光的散射、传播和干涉等过程中。

在大气散射建模中，勒让德方程通常用于描述光在大气中的散射过程中的角度分布。通过将光的入射方向、散射角度和散射介质的特性考虑进去，可以使用勒让德方程来计算光在不同角度上的散射强度和相位的变化。这有助于理解光在大气中的传播特性，并对大气散射过程进行建模和仿真，从而预测和优化光传输、成像和通信等应用的性能。

存在问题

基于大气传输方程的散射成像方法仅需要普通相机直接采集云雾天气下的散射图，成像视场无理论限制，但该模型中只考虑了目标物自发光时的成像响应，因此理论上不适用于自然光场景或包含其他环境光的场景，环境鲁棒性差，同时F-APSF的估计需要大气物理参数或预标定等作为先验信息。大气传输方程不适用于生物组织等大气之外的散射介质，同时对强散射环境下的重建还存在较大困难。

改进

对辐射传输方程的近似求解不仅可利用勒朗德展开式，通过对RTE方程进行一阶球谐展开近似，可以得到建模强散射场景光子传输过程的扩散方程，对扩散方程的有效求解可以明确光在散射介质中的传播过程。
在光学散射成像中，辐射传输方程（RTE）是用来描述光在散射介质中传播的数学模型。然而，RTE是一个复杂的偏微分方程，通常很难求得解析解。为了简化问题并有效地求解光的传播过程，可以采用近似方法。

其中一种近似方法是利用勒让德展开式对RTE进行近似求解。勒让德展开式是一种将任意函数展开成勒让德多项式的级数的方法，通过取其中的前几项来近似表示原函数。通过对RTE方程进行勒让德展开近似，可以得到更简化的模型，从而简化了光在散射介质中的传播过程的数学描述。

另一种近似方法是对RTE方程进行一阶球谐展开近似。球谐函数是一组用于描述球对称问题的特殊函数，可以用于展开球对称场景中的光传播过程。通过一阶球谐展开，可以更加精确地描述散射场景中的光传播过程，尤其是在强散射的情况下。

基于以上近似方法，可以得到建模强散射场景光子传输过程的扩散方程。扩散方程是一种常微分方程，适用于描述光在高度散射介质中的传播过程。对扩散方程的有效求解可以明确光在散射介质中的传播过程，从而更好地理解和模拟光学散射成像中的现象和现象。这样，通过这些近似方法，可以在合理的精度下简化散射场景中的光传播模型，从而更加高效地进行图像重建和成像处理。

图１２基于扩散方程的散射成像。图１２基于扩散方程的散射成像。(a)采集装置原理图；(b)原始目标物；©采集图像；(d)重建结果

２０１９年，英国Ｌｙｏｎｓ等利用脉冲光源和单光子雪崩二极管阵列记录光子传播的空时信息，在已知介质散射系数和吸收系数的前提下，以最小化基于扩散方程生成的光子空时信息和实测光子空时信息的欧氏距离为目标，在目标物稀疏性先验的约束下进行迭代求解，最终在80倍传输平均自由程的体散射介质中实现了散射成像，如图12所示，但该方法受限于复杂的迭代优化求解，只能实现简单的二维物体的重建。
进一步地，美国Ｌｉｎｄｅｌｌ等显式地求解了扩散方程在平板状散射介质下的解析解，并将解析结果视作光在自由空间传播结果的模糊，最终通过去模糊实现目标物恢复，该工作实现透过６倍传输平均自由程的散射介质的三维物体重建。

方法的总结

基于扩散方程的方法对强散射介质具有更高的适用性，但对扩散方程的描述需要时空数据的配合，这增大了成像装置的复杂性，需要高时间分辨率的采集装置和窄带脉冲光源对场景进行主动照明，同时重建结果精度较差。

传输矩阵的标定方法

方法的提出

２０１０年，法国Ｐｏｐｏｆｆ等首次提出测量散射介质传输矩阵的技术，在相干光照射下，将输入复数场划分成Ｎ个单元，将输出复数场划分成Ｍ个单元，预先标定入射光对应波长下第ｎ（ｎ＝１，２，…，Ｎ）个输入场单元与第ｍ（ｍ＝１，２，…，Ｍ）个输出场单元的映射复系数ｋｍｎ，传输矩阵（ＴＭ）表示为由输入场到输出场的映射复系数ｋｍｎ组成的矩阵，则有

$E^{out}_m = \Sigma_{n}k_{mn}E^{in}_n （10）$
$E^{out}_m$ 为输出复数场的第m个单元
$E^{in}_n$ 为输入复数场的第n个单元
传输矩阵是由划分为N个单元的输入场以及划分为M个单元的输出场之间的映射knm构成的矩阵
即输出场可以由输入场与映射系数的线性组合得到
Ｐｏｐｏｆｆ等以单臂干涉装置[图13(a)]实现对入射复数场和出射复数场的采集，并利用Hadamard基完成对传输矩阵各映射复系数 kmn的标定，最后将传输矩阵的共轭转置与带目标物的输出矩阵相乘，实现透过80μｍ厚的ZnO样本的成像，如图14所示，其中传输矩阵的维度为256x256。此后Tikhonov正则化方法和基于增广拉格朗日法和交替方向法的全变分最小化方法(TVAL3算法)相继被用于传输矩阵重建算法中，以提升重建质量和边缘清晰度。
图１３传输矩阵空域和频域测量光路。(a)传输矩阵的空域测量光路(将ＳＬＭ分为参考场和信号场两部分)；(b)传输矩阵的频域测量光路
法国Ｈｏｆｅｒ等也利用记忆效应理论，对传输矩阵的标定过程进行改进，使用邻近振幅较大点的相位来代替传输矩阵在参考场振幅较小点丢失的相位值，再附加一个对应于两点间位移的相位斜坡，从而获得更加准确的传输矩阵：
$E_d(x,y)=\Sigma_{k_x,k_y}E_{trans}(x,y;k_x,k_y) （11）$

方法的改进

与（１０）式的传输矩阵表达形式不同，韩国Ｃｈｏｉ等基于角谱成像方式，认为散射介质的传输矩阵可以依不同的入射光空间频率kx,ky来测定，如（１１）式所示，其中 A-s(kx,ky)为输入场的角谱分布，Ed(x,y)为输出场的空域分布，E-trans表示频域传输矩阵，并利用二维振镜实现采集，如图１３（ｂ）所示，构建频域TM，相比于Ｐｏｐｏｆｆ使用自参考散斑波重建的空域ＴＭ，Ｃｈｏｉ利用独立参考臂形成干涉条纹的测量结果更加清晰且真实，如图14©和(d)所示。
图１４空域和频域传输矩阵重建结果。（ａ）初始灰度图像；（ｂ）使用散射图重建的图像；（c）插入散射介质前的老虎图案图像(比例尺：10μｍ)；（ｄ）使用散射图重建的老虎图像
此后，全场干涉显微镜与旋转电流计镜结合的波前调制技术也被应用于频域TM的标定，极大提升频域TM的维度，最高可达21078×21078，同时可额外实现不同偏振态传输矩阵的测量。而经过标定的散射介质也作为一种成像器件用于扩大传感器的视场范围和生成全息图。

传输矩阵的测量

由于来自散射介质不同深度或不同波长下的成像响应具有特异性，因此需对不同波长和经过散射介质不同传输时间的传输矩阵进行独立标定，其中多光谱传输矩阵MSTM的测量及标定工作已被应用于透过散射介质的不同光谱的空间聚焦，而时间分辨传输矩阵TRTM也通过改变独立参考臂的光程完成测量，实现对于在散射介质中不同传输时间下光束的空间聚焦，从而验证了传输矩阵测量的正确性。
传输矩阵的测量属于侵入式的标定，并且其矩阵的维度与标定用的SLM分辨率、相机分辨率等因素相关，这使得其视场范围受限，现有方法中空域标定的最大视场范围约为40μｍ×40μｍ，频域标定下数值孔径ＮＡ一般可达0.85以上。该方法标定得到的传输复矩阵能够很好地反映散射介质的特性，便于进一步分析求解，同时重建目标物复杂且清晰度高。但由于标定时间较长，基于SLM的标定时间达到分钟量级，这使得该方法仅适用于静态散射介质，不适用于动态的散射场景。

方法总结

从整体来看，利用建模传输过程去散射的方法需要一定的场景先验信息辅助，同时要求在特定光源或自发光物体下实现成像，环境鲁棒性低，但成像效果和去散射能力较好。另外通过建模传输过程也可逆向分析散射介质的特性，便于进一步理解散射成像机理。

分离散射光的重建方法

空域散射光分离

概念相关

在雾霾、浑浊水体等散射系数分布均匀的自然场景中，被动光照下相机传感器采集到的光线ET主要由三部分组成
- 直接反射光 $E_{d}$ ：由物体反射后未被散射介质所干扰的光线
- 前向散射光 $E_f$ ：由物体反射后并被散射介质所干扰的光线
- 后向散射光 $E_b$ ：未经过物体而到达传感器的光线
这三部分在强度上呈线性叠加的关系，可以用Jaffe-McGlamery成像模型表示
$E_T=E_d+E_f+E_b （12）$
考虑到前向散射光 $E_f$ 在 $E_T$ 中占很小的比例，可以忽略不计，Jaffe－McGlamery成像模型可被进一步简化为
$I_c(x)=t_c(x)J_c(x)+[1-t_c(x)]·A_c （13）$
- $I_c(x)$ ：相机传感器采集到的散射图像
- $J_c(x)$ :未经散射的目标原始图像，属于散射图像中的弹道光部分
- $A_c$ :环境光照
- $c=\{R,G,B\}$ :相机的不同颜色通道
- $t_c(x)$ ：场景透射率
  - $t_c(x)=exp[-\beta _cZ(x)]$ :其中 $Z (x)$ 为场景深度； $\beta_c$ 为依赖于波长的衰减系数，不同颜色通道取值不同
随着场景深度的增加，散射图像中弹道光的比例不断减少而散射光的比例不断增加，因此有效获取场景深度信息（透射率图）是空域分离散射光与弹道光的关键，这类方法的输入数据分单帧图像和光场数据两大类
- 景深增加后散射光成分增加，因此需要获取景深信息进行散射光与弹道光的分离，因此获取透射率 $t_c$ 成为了恢复的关键。

基于单帧图像的分离方法

基于单帧图像的分离法主要利用散射二维图像的内部特征或统计信息来估计 $t_c(x)$ ，图像的获取无需介质的先验信息，且视场范围无理论限制，同时单曝光的采集方式对动／静态散射介质及动／静态目标物都适用。
依据透射率图 $t_c(x)$ 估计方法间的差异，可进一步将估计方法细分为基于像素的估计方法、基于局部区域特征的估计方法、基于全局特征的估计方法和基于Retinex模型的估计方法。

基于像素的估计方法

在（１３）式中，环境光照 $Ａ_c$ 为恒定常数,不随场景位置 $ｘ$ 的变化而变化，在雾霾等衰减系数 $β_c$ 波长无关的场景下， $A_c$ 常利用二维图像中的强度最大点代替，而 $β_c$ 的波长一致性意味着 $Ａ_c[1-t_c(ｘ)]$ 在不同颜色通道的强度值是一致的,散射图颜色上的差异主要体现在 $J_c(x)$ 上。
法国Tarel等据此提出最小通道图概念，即散射图像在不同颜色通道下的最小值构成的图像。最小通道图忽略了颜色的差异性，是对后向散射光的一种估计，再结合对于 $A_c$ 的估计过程，便可实现对于场景透射率图 $t_c(x)$ 的获取。
$J_c(x)= \cfrac{I_c(x)-A_c}{t_c(x)}+A_c \ \ \ \ (14)$
- 最小通道图（Minimum Channel Image）是一种用于图像处理和分析的方法，它基于多光谱或多波段图像的像素值，并选择其中最小的通道作为输出图像的像素值。
  
  在多光谱或多波段图像中，每个像素位置都有多个通道的数据，每个通道代表了不同波长或颜色的信息。最小通道图的生成过程很简单，对于每个像素位置，选择其在各个通道上的像素值中最小的一个作为输出图像的像素值。
  
  最小通道图的应用主要是针对某些特定的场景或目标物体。由于不同通道之间的信息差异，选择最小通道可以突出目标物体在图像中的某些特征或细节。例如，在遥感图像中，植被通常在近红外通道上具有较高的反射率，而背景或其他物体在可见光通道上具有较高的反射率。因此，通过选择最小通道可以将植被区域与背景区域进行更好的区分。
最小通道的缺点：最小通道图的计算复杂度仅与图像的像素数量线性相关，但利用最小通道图估计得到的场景透射率图含有很多不合理的纹理细节，无法满足实际透射率图分段平滑的特性。
- 最小通道图估计得到的场景透射率图可能会包含一些不合理的纹理细节，这是因为最小通道图方法对于场景中的光照变化和颜色变化比较敏感，容易受到噪声和细节的影响。
  
  最小通道图方法是基于颜色假设的图像去雾方法，它假设场景中的最小通道（颜色分量最低的通道）受到大气散射的影响最大，因此可以用来估计场景的透射率。然而，由于最小通道受到颜色变化和光照变化的影响，可能会导致透射率图中出现一些不合理的纹理细节。
  
  这些不合理的纹理细节可能是由于以下几个原因造成的：
  1. 光照变化：最小通道受到光照变化的影响，如果场景中存在明暗变化较大的区域，最小通道图中可能会出现不符合实际的透射率估计。
  2. 色彩变化：最小通道图对于色彩变化比较敏感，如果场景中存在颜色变化较大的区域，最小通道图可能会将这些变化误解为透射率变化。
  3. 噪声：图像中的噪声会干扰最小通道图的估计，导致透射率图中出现一些不合理的细节。
  为了解决这些问题，可以考虑使用其他图像去雾方法或结合多个图像通道的信息来估计场景透射率。另外，对于特定应用场景，可以根据先验知识或其他先进的算法对场景透射率图进行后处理，以去除不合理的纹理细节并提高估计的准确性。
改进：后续，潍坊大学Ｗａｎｇ等通过将不同滤波器用于透射率图的平滑处理，武汉大学Ｘｉａｏ等通过改进最小通道图的提取方式，都实现了去散射效果的增强。除最小通道图外，基于贝叶斯优化的参数估计模型并利用分段平滑的先验知识估计场景的透射率图，该方法在去雾效果及鲁棒性上表现出优势。

基于局部特征的估计方法

场景的深度信息往往在小块邻域内保持一致，这与场景透射率图的分段平滑特性相吻合，因此在估计透射率图时要考虑每一个像素邻域间的信息。

暗通道先验理论

2009年香港中文大学Ｈｅ等提出的暗通道先验(DCP)去雾算法利用了无散射自然图像的局部区域特征，即
$J^{dark}(x)= \underset c{min}[\underset{y\in\Omega(x)}{min}J_c(y)]\approx0 \quad (15)$
- 无散射图像的暗通道 $J^{dark}(x)$
- 暗通道先验理论是一种图像去雾方法，由Kaiming He等人在2011年提出。该理论基于一个观察：在自然场景中，即使在有雾的情况下，室外景物中的某些像素在至少一个颜色通道上都具有非常低的亮度值。这个亮度值往往接近于零，称为暗通道。
  
  暗通道先验理论的关键思想是，通过分析图像中的暗通道，可以估计出雾的浓度和场景的透射率，从而实现图像去雾。具体步骤如下：
  1. 暗通道估计：对输入的雾图像进行暗通道估计，即在每个局部窗口中找到最小亮度值对应的像素。
  2. 估计透射率：通过暗通道图像，估计场景的透射率。暗通道图像中的像素值反映了该位置的透射率的近似值，因此可以根据暗通道图像的像素值来估计透射率。
  3. 估计雾浓度：通过透射率估计值，反推雾浓度。根据大气散射模型和透射率估计，可以计算出雾浓度的近似值。
  4. 雾图像恢复：使用估计得到的透射率和雾浓度，对输入的雾图像进行去雾处理，以恢复清晰的图像。
  暗通道先验理论的优势在于简单而有效，能够对多种类型的雾进行较好的去除。然而，该方法也存在一些限制，例如对于具有高亮度的场景或存在颜色变化的场景，可能会导致估计的透射率不准确。因此，在实际应用中，可能需要结合其他技术或先验知识来改进去雾效果。
在非天空区域中，无散射图像的暗通道Ｊ_dark(x)可近似为０,故散射图像的暗通道Ｉ_dark(x)主要反映场景的透射率信息：
$I^{dark}(x)=\underset{y\in\Omega(x)}{min}[\underset{c\in R,G,B}{min}I_c(y)]=\bar{A}_c[1-\bar{t}_c(x)]\qquad (16)$
- $\Omega(x)$ :以像素点x为中心的附近区域
- $\bar{A}_c$ :对于环境光照的估计
- $\bar{t}_c(x)$ :对场景透射率的估计

图１５基于暗通道先验的图像去雾效果。（ａ）输入雾天图像；（ｂ）估计的透射率图；（ｃ）经过软抠图优化的透射率图；（d）最终重建结果

后续应用：在暗通道先验理论被提出后，越来越多的去雾工作利用单帧散射图的局部区域特征，将研究重点转移到单帧图像的RGB颜色通道间，散射图像的颜色线先验(Fattal等人研究成果)、颜色衰减先验、颜色椭球先验（ＣＥＰ）等相继被提出。RGB通道的梯度变化信息、饱和度信息、最小颜色通道信息等也被应用于去雾研究。

衰减系数差异较大场景所需的调整

针对深海等不同颜色通道间衰减系数 $β_c$ 存在较大差异的特异性场景，需对透射率图的估计方法进行相应的调整。美国密歇根大学Carlevaris-Bianco等基于水下红色通道衰减程度较大的特性，利用红色通道和蓝绿通道的最大差异估计透射率图；巴西Drews等提出水下DCP方案，仅利用蓝绿通道进行透射率图估计。
- 在深海中，不同颜色通道之间存在较大的衰减差异，这是由于水的吸收和散射特性以及光的波长影响所致。
  
  水对不同波长的光有不同的吸收特性。在可见光范围内，红色光波长较长，能量较低，因此在水中传播时更容易被水分子吸收。相比之下，蓝色光波长较短，能量较高，吸收较少。这导致在水中，红色光相对于蓝色光来说衰减得更快，传播距离更短。
  
  此外，水中还存在散射现象，即光在水分子和悬浮粒子之间发生碰撞并改变方向。散射会使光在水中传播路径变长，从而增加衰减程度。不同波长的光受到水分子和悬浮粒子的散射方式不同，因此也会导致不同颜色通道之间的衰减差异。
  
  综合水的吸收和散射特性，深海中不同颜色通道间的衰减系数存在较大差异。红色光通常受到最大的衰减，其衰减系数较大，而蓝色光则相对较少受到衰减，其衰减系数较小。这也是为什么在深海中观测或成像时，红色光往往会更快地消失，而蓝色光能够在较远距离传播的原因。
此外，其他水下成像优化、面向夜间散射场景及光照不均衡情况下的去散射优化、环境光照估计策略的优化、不同颜色通道透射率图的差异性分析、考虑光吸收系数的JM成像模型优化等工作也在扩大基于局部特征的单帧去散射算法的适用范围并提升其性能。

基于全局特征的估计方法

雾线

图１６对于雾线的解释（以人造雾气图像为例）图１６对于雾线的解释（以人造雾气图像为例）.（ａ）对无雾彩色图像的像素依据颜色进行K-means聚类的结果，图中的标记点对应４个不同的颜色类；（c）无雾图像中４个不同颜色类的各个像素点在RGB颜色空间的表示；（b）在场景中加入人造雾后的图像；（ｄ）带雾图像中属于同一颜色类的像素在RGB颜色空间呈线性排布（各条雾线都经过环境光照的对应点，即标记的黑点）

以色列特拉维夫大学Berman等发现自然图像各像素点的颜色在RGB颜色空间中可以聚类为数百个紧密的簇，簇中像素的颜色相近，而雾霾等散射介质的存在会将簇内的像素点依据深度拉伸成RGB空间内的一条线，称之为雾线，在场景透射率 $t_c(x)$ 趋近于０时，所有雾线会会聚到环境光照的对应点 $A_c$ ，如图16所示。

通过建立雾线进行全局估计

场景透射率 $t_c(x)$ 可由雾线各像素点到环境光照会聚点 $A_c$ 的距离间接表示，并结合 $t_c(x)$ 分段平滑的特性进一步进行优化。
特点：相比于局部特征估计的方法，雾线的建立及求解过程避免了取块的操作，也不需要考虑取块大小、取块是否交叠等因素的影响，属于全局优化算法，鲁棒性及实用性更强，但计算复杂度会增大。

其他方法

此外，南京大学Ｊｕ等提出的将Gamma校正与JM模型相结合去散射的工作也属于基于全局特征的估计方法。

基于Retinex模型的估计方法

方法介绍：Retinex成像模型将传感器采集图像Ｓ看作场景反射率图像Ｒ与入射光照图像Ｌ的乘积，即Ｓ＝Ｒ·Ｌ，其中，Retinex模型一般假设Ｌ分段平滑，反映目标场景信息的反射率分量Ｒ的分段常数。
- 分段平滑（Piecewise Smoothing）是一种图像处理技术，旨在通过局部调整图像的平滑程度，以获得更好的视觉效果或减少噪声的影响。
  
  在分段平滑中，图像被分成多个区域（或称为分段），每个区域可以应用不同的平滑算法或参数设置。这样可以针对图像的不同区域采用适合的平滑策略，以平衡图像的平滑性和细节保留。
  - 图像的平滑性是指图像中相邻像素之间的变化趋势或变化程度的一种性质。一个平滑的图像具有较为连续和一致的变化，像素值之间的跳变较少或较小。
在采集图像Ｓ中估计并去除入射光照Ｌ的影响，以还原场景反射率分量Ｒ，该方法适用于光照不均、低光照等自然环境的图像增强。
葡萄牙和西班牙团队的Galdran等发现JM成像模型与Retinex模型之间存在如下联系：
$1-\cfrac{I_c(x)}{A_c}=t_c(x)·[1-\cfrac{J_c(x)}{A_c}]\qquad (17)$
- 其中t_c(x)具有分段光滑特性，可对应于Retinex模型中的入射光照图像Ｌ
- $1-\cfrac{J_c(x)}{A_c}$ 存在着场景的复杂纹理信息，可对应于Retinex模型中的场景反射率图R
JM模型针对I_c(x)求解J_c(x)的过程和Retinex模型针对1-(I_c(x)/A_c)求解1-(J_c(x)/A_c)的过程可以相互转化，即：
$\frac{JM[I_c(x)]}{A_c}=1-Retinex[1-\frac{I_c(x)}{A_c}]\qquad (18)$
也就是说经过简单的图像变换后，基于Retinex模型求解场景反射率图的方法可全部应用于单帧图像去散射，如单尺度Retinex法、多尺度Retinex法，还有近年来最广泛使用的Retinex优化方法等。

基于非物理角度的基于单帧图像分离

上述４类方法基于单帧图像，从物理模型的角度实现了弹道光的提取与目标物重建，也有研究学者从非物理模型的角度出发，认为散射介质直接造成图像退化，从而将图像增强或图像复原的方法应用于单帧图像去散射或者作为物理模型重建结果的后处理手段 ，实现图像的对比度提升及细节纹理的增强，这些方法包括直方图均衡、直方图拉伸、反锐化掩模、白平衡校正、图像融合等。

运用领域与评估手段

基于单帧图像的空域分离算法适用于自然光照或日常光照（被动光照）条件下，应用前景广，同时建立场景丰富的各类散射数据库，包括仿真雾、人工造雾和自然雾等，利用带参考和无参考两类散射图像质量评价方法测试不同散射重建算法的优劣。
为了便于单帧分离方法间的比较分析，首先在公开数据及文献中直接提取不同方法针对同一雾天散射场景的重建结果，如图１７所示。
图１７基于单帧图像的去散射结果对比，散射介质为雾气。(a)散射原图；(b)Tarel等使用最小通道理论得到的实验结果；©Fattal等得到的实验结果；(d)He等使用暗通道先验方法得到的实验结果；(e)Galdran等得到的实验结果;(f)Berman等使用雾线方法得到的实验结果
进一步地，面向更复杂的浑浊水体散射场景，比较UDCP、Robust Retinex和Multi-scale Fusion三类最适用于水体散射的方法，同时调节算法内部参数以实现最优的去散射效果。
图１８基于单帧图像的去散射结果对比，散射介质均为浑浊的水。(a)散射原图，第一行图像的模糊程度明显高于第二行；(b)~(d)经过参数调试后，运行UDCP、Robust Retinex和Multi-scale Fusion的实验结果
- 从图18中的实验结果可以发现，Multi-scale　Fusion在颜色恢复和细节重建上效果最优，但得到的图像中存在部分重建噪点
- Robust Retinex的重建效果次之，具有较强的重建噪声抑制功能
- 而UDCP的方法存在颜色恢复错误的问题，特别是当水体的浑浊程度不断增大时。
总的来说，单帧去散射的重建过程都需要合理的先验假设，同时需要散射图中包含一定的图像特征用于参数估计或分析计算，其重建效果会随着介质散射程度的提高而变差，因此该类算法不能应用于浓雾、浑浊深海、厚生物组织等复杂散射场景。

基于光场数据的分离方法

基于光场数据分离方法的原理

相比于单帧散射图像，基于光场的去散射方法利用光场采集装置实现对于散射光场的空间全记录，并进行重建。

光场的采集

光场采集装置在获取二维空域信息的基础上，通过多视角采集获取了输入光线的角度信息，分为手持式光场相机和光场相机阵列两种。

方法介绍

光场由于获取到更高维度的输入信息，基于光场的去散射方法的去散射效果相比于基于单帧图像的去散射算法有明显提升，依据其对高维光场输入的利用方式不同，基于光场的去散射方法可分为基于光场多视角融合的去散射方法和基于光场频域分析的去散射方法。

与单帧图像分离方法的对比

光场多视角融合的视差与场景的深度信息有关，而光场频域分析中频域滤波器的形状也受场景深度信息的影响，因此光场去散射方法与单帧类似，都是以场景的深度信息为桥梁实现的去散射，不过高维光场输入对场景深度的提取能力明显优于单帧图像。

基于光场多视角融合的去散射方法

光场多视角融合的思想最早由美国康涅狄格大学Moon等引入散射成像领域，利用弹道光和散射光在光场多视分辨中的特异性提取有效的弹道光信息，即由目标物上某点发射出的弹道光在不同视角上的强度响应是一致的，而散射光由于散射路径的随机性，导致由目标物某点发出的沿不同方向传播的散射光在不同视角相机的强度响应不一致，两者的差异性可用于二者的分离。

基于光场多视角融合去散射方法的改进

同时光场的多视角融合与场景的深度信息相关，在系统内外参固定的前提下，不同场景深度决定了不同融合视差，可将散射光场数据应用于待观测物的多深度重建。
美国Cho等在光场多视点融合的基础上，假定各子视角图像中的散射光成分服从空域高斯分布，利用参数估计的方法先对各子视角进行去散射光的预处理，以增强算法的去散射性能，实现目标物灰度重建。在此方法的基础上，Cho等依据光波长和能量的关系，定义不同颜色通道去散射后的信号强度，将基于光场多视融合的散射多深度灰度重建改进为彩色重建，如图19所示，但该方法依旧存在恢复色差。
- 此外，频域滤波、暗通道先验等单帧去散射技术也被应用到多视散射光场各视角的预处理上，以提升光场多视角融合的去散射技术。
- 美国Shin等也将Cho的方法推广至轴向分布的散射光场数据中，丰富了散射光场数据的采集方式。

图１９基于光子计数的光场数据去散射流程图19 基于光子计数的光场数据去散射流程

但上述几类方法并未将光场数据融合中所利用到的深度信息与ＪＭ模型中的深度信息结合，为有效利用光场数据中的深度先验，美国Tian等利用手持式光场相机作为采集装置，将根据光场数据特性提取到的深度信息和ＪＭ成像模型相结合，提出一套面向散射场景的光场深度估计模型，如图２０所示，该方法在提升去散射能力的同时，也实现了对于场景深度信息的高质量获取。
但该方案对于光源摆放的位置有较强的限定，同时手持式光场相机的高角度分辨率虽然便于深度信息估计，但是限制了成像距离，该方法仅能在目标物与相机距离较近的情况下展现出好的去散射效果。

激光雷达电晕提供重建信息

除了通过估计获取场景深度信息外，美国Bajpayee等在复杂环境下利用激光雷达(Lidar)的点云数据为光场图像的融合提供深度信息指导，并将其应用于车载真实场景下的实时重建，该方法在面向低光照、遮挡物以及雪天等场景时展现出不错的效果，但受限于激光雷达的波长，无法应用在雾霾等散射场景中。

基于光场频域分析的去散射方法

对于采集到的光场信号，除利用光场融合技术外，澳大利亚悉尼大学Dansereau等利用弹道光和散射光在光场极线图(EPI)频域分布上的差异对两者进行分离，建立基于特定深度范围的弹道光EPI频域滤波器，从光场数据中截取来自目标物所在深度的弹道光线，削弱由其他深度层散射光带来的干扰
- 在光场多视分辨中，可以通过频域分析的方法来尝试分离弹道光和散射光。这是因为弹道光和散射光在频域上具有不同的特性和分布。
  
  首先，弹道光通常具有较高的空间频率成分，即图像中的细节和高频信息。这是因为弹道光沿直线传播而几乎没有发生散射，保持了较高的空间分辨率。在频域中，弹道光的能量集中在较高的频率范围内。
  
  相比之下，散射光由于散射和反射过程中的干涉和多次散射，导致其能量在频域中更广泛地分布。散射光通常具有较低的空间频率成分，即图像中的平滑部分和低频信息。
  
  基于这种频域上的特性差异，可以尝试利用频域滤波的方法来分离弹道光和散射光。一种常见的方法是使用低通滤波器，将频域中的高频分量滤除，从而抑制散射光的影响，保留弹道光的高频细节。通过这种方式，可以在频域上实现对弹道光和散射光的分离。
但滤波去散射作用不彻底，且散射多路径效应也会导致场景深度可分辨能力下降，同时光场EPI频域的建立也需要手持式光场相机下的高角度分辨率作为保障，只适用于短距离散射场景。

基于光场数据分离方法的总结

总结：以光场数据为输入的空域散射光分离方法相比于以单帧图像为输入的方法，在高维输入信息的辅助下，实现了去散射能力的提升，如图20所示，但该方法缺乏严谨的理论模型来描述光场多视角数据对去散射的提升作用，特别是缺少能应用于实际场景下的光场去散射系统，同时光场角度分辨率与空间分辨率之间的相互制约关系也同样存在于光场去散射工作中。
光场角度分辨率和空间分辨率之间存在一种相互制约的关系。这是由于光场的角度分辨率和空间分辨率是通过光学系统的参数和特性共同决定的。

角度分辨率是指光场中能够分辨的最小角度，即能够分辨出两个光点之间的最小角度差。角度分辨率取决于光学系统的入射光束直径和光源波长。较小的入射光束直径和较短的波长可以实现更高的角度分辨率。

空间分辨率是指光场中能够分辨的最小空间尺寸，即能够分辨出两个物体之间的最小距离差。空间分辨率取决于光学系统的像素大小和成像传感器的特性。具有较小像素大小的成像传感器可以实现更高的空间分辨率。

在光学系统设计中，存在一个折衷的关系：增加角度分辨率可能会导致空间分辨率的降低，而增加空间分辨率可能会限制角度分辨率的提高。这是因为光学系统的参数和设计决策会对入射光束的聚焦和成像产生影响，从而影响角度分辨率和空间分辨率。
优点：有高位输入信息，去散射能力能够提升
缺点：缺少应用于实际场景的去散射系统，并存在光场角度分辨率与空间分辨率的相互制约关系

时域散射光分离

时域散射光分离的原理

图２１散射光子与弹道光子到达时间差异图２１散射光子与弹道光子到达时间差异（直径为200μｍ的点光源透过散射介质的光子飞行时间曲线）

携带有效信息的弹道光在散射介质中不改变传播方向，而散射光复杂的传播路径直接导致其在传播时间上与弹道光产生差异，如图21所示，时域散射光分离成像技术正是基于这种时间差异，实现对于散射光的分离和对于弹道光的有效增强，该类方法根据辨别时间的原理差异，可分为基于ＯＣＴ的相关技术和超高时间分辨技术。

基于光学相干断层扫描的成像技术

基于光学相干断层扫描成像技术的原理

图２２光学相干断层扫描技术原理图图２２光学相干断层扫描技术原理图

光学相干断层扫描(OCT)技术由美国Ｈｕａｎｇ等提出，如图２２所示，他们使用分光镜将低相干性的光源分成参考光束和经过散射介质的样本光束，样本光束中的散射光子受到散射多路径的影响，传播时间增加，在保证参考光束与样本光束光程差一致的前提下，这部分散射光子在被散射后失去了与参考光束的相干性，而样本光束中另一部分未经散射的弹道光子与参考光束的光程差保持在相干范围内，同时携带样本的结构信息，其与参考光束在耦合器处形成干涉图案，记录样本信息。
该系统可以通过改变参考光束的光程来调节目标成像层的深度，最终通过计算成像的方法恢复该层的样本信息。

厚散射介质造成的影响

散射光程延长，造成成像干扰
- 改进
  - ２０１５年，韩国Ｋａｎｇ等发现干涉图像中也存在散射光的成分，如图23所示，当散射介质变厚且复杂时，多路径效应导致的散射光子光程延长不仅会使无散射时光子光程与参考臂光程一致而形成干涉的弹道光子丢失相干性，还会作用到部分无散射时小于参考臂光程的光子上，造成原本不相干的光子间形成干涉，引入成像干扰，降低重建目标物的信噪比。为此，Kang等在传统OCT技术基础上，利用弹道光子经物体反射后其各空间频率分量的变化和目标物频谱分量存在一一对应关系的特点多帧累加弹道光子，进一步提高弹道光在OCT方法中的占比，形成弹道光子累积(CASS)算法，在11.5倍于散射自由程的介质中实现空间分辨率为1.5μｍ的成像精度（深度分辨率可达35μｍ左右）。
    - 图２３经过散射介质的反射光分类，ＥＳ（τ）表示弹道光，其中τ表示光在介质中的传输时间，ＥＭ（τ）表示传输时间和ＥＳ（τ）相同的多次散射光，该部分光可以和参考臂光束形成干涉，ＥＭ（τ′）表示传输时间和ＥＳ（τ）不同的多次散射光，该部分光不能和参考臂光束形成干涉
  - 为了进一步提升成像深度和对厚散射介质的适应性，韩国Jeong等改进CASS算法，将样本光束沿散射介质弹道光保留比例最高的“本征通道”入射或利用时间选通的干涉条纹作为反馈信号，指导散射介质的波前调制，使得入射光线的能量尽可能多地被传输到物体表面，提升反射光强度，以此实现对比度及清晰度的进一步提升。
  - 另外，法国Badon等进一步通过矩阵分析的方式实现了更大的成像深度，但成像目标物的复杂度有所降低。
厚散射介质在光传输过程中造成畸变和成像差，影响成像结果
- 改进
  - 为了进一步提升CASS算法的重建质量和对生物样本的适用性，2017年，韩国Kang等吸收了波前调制技术的思想，将相位校正因子引入到成像算法中，以纠正成像光路上的畸变带来的成像像差，形成闭环弹道光子累积(CLASS)算法，在成像深度７倍于散射自由程的情况下实现非侵入式成像，空间分辨率可达600nm，后续通过以扫描振镜(GM)替换空间光调制器(SLM)的方式，将单深度的成像速度从min量级缩短到0.22s，并将该方法成功应用到透过活体小鼠完整头骨的神经活动观测上，如图24所示。
    - 图２４将CLASS算法应用于完整活体鼠脑观测，鼠脑头骨厚度为１２５～１５０μｍ。(a)实验装置图；(b)利用光学相干显微镜观测鼠脑下方200μｍ有髓神经纤维的图像；©利用CLASS算法得到的观测结果(上)和对应的像差图(下)，对应于图24(b)中虚线框３０μｍ×３０μｍ的区域；(d)(e)分别对应CLASS算法在２×２和４×４子块下的观测结果及对应的像差图
  - 此外，法国Badon等也提出失真矩阵的概念，用于厚散射介质在OCT成像中的相位补偿，在10倍于散射平均自由层的介质深度下实现接近衍射极限分辨率的清晰成像。

基于光学相干断层扫描技术的总结

总体来说，基于OCT技术的成像方法能面向散射效应较强的介质实现非侵入式成像，且在成像速度和分辨率方面满足活体生物观测的需求，是生物散射成像领域里程碑式的新工作，但这类方法也存在装置复杂度较高、操作困难 ，且对成像光源有低相干性要求等缺点，无法实现轻型化及高环境鲁棒性。

超高时间分辨技术

超高时间分辨技术的原理

与OCT技术利用光程差辨别时间差异不同， 利用超高时间分辨的成像设备同样可以在不引入参考臂光路的情况下记录光子的到达时间或飞行路径，进而通过解析时间维度信息，从区分光子到达时间、建模弹道光子飞行路径和分析幅度调制光相位三种途径分离散射光。

区分光子到达时间的方法

区分光子到达时间方法的发现

图26 区分光子到达时间的成像结果。(a)～©Wang等重建薄生物组织遮挡下的条纹图像时的参考图像、无延时门控重建结果和有延时重建结果；(d)~ (f)Laurenzis等在宏观雾天不同的深度下的重建结果；Redo-sanchez等重建重叠纸张中的文字时所用的(g)参考图像和(h)重建结果；(i)~(k)Satat等在动态散射场景中的参考图像、重建结果和重建深度
以窄带脉冲光源照射待观测目标，１９９１年，美国Ｗａｎｇ等首先证明了区分光子到达时间方法的有效性，如图25(a)和图26(a)~©所示，他们使用皮秒量级的超快门装置采集最早到达传感器的弹道光，通过设置门控来屏蔽散射光，从而通过提升弹道光子比例增强了图像对比度，最终实现散射成像。
- 使用窄带脉冲光源的原因：当窄带脉冲光源照射到散射介质上时，会产生一束非常短暂且集中在很短时间窗口内的光脉冲。这样的光脉冲可以让我们准确地知道每个光子到达的时间。因为脉冲的宽度非常短暂，所以光子之间的时间间隔可以被很好地分辨。
后续法国Laurenzis等依据物体所在深度动态调整快门系统的门控起点与门控宽度，实现了高深度分辨率的三维散射成像，如图26(d)~(f)所示。但是该类方法由于屏蔽掉大部分散射光，导致传感器所接收到的光子总数较少，成像对比度低，无法应用到更复杂的散射介质中。

区分光子到达时间方法的改进

为进一步提升成像对比度，美国Redo-Sanchez等利用太赫兹时域测量技术[图２５©和图２６(g),(h)]，获取了更高时间分辨率的瞬态图像(同时包含二维空间和一维时间信息)，并利用瞬态图像上空间各位置点的时域脉冲确定深度信息及成像，得益于更高分辨率的数据和更有效的动态门控机制，最终获得更高对比度的重建结果，实现了有遮挡条件下的文字内容恢复。
英国Maccarone等采用单光子雪崩二极管阵列(SPAD)在无物体时采集瞬态图像，然后将其和有物体时采集的瞬态图像进行时域互相关，利用相关性差的区域可表征物体位置信息这一特征重建物体位置，实现了８倍传输平均自由程下的图像深度重建。
- 单光子雪崩二极管：雪崩二极管是一种高增益的光电探测器，当入射光子击中其表面时，会在其内部产生雪崩效应，导致电荷的大量倍增，从而产生可测量的电流脉冲。由于雪崩效应的特性，每个光子都能够产生一个明显的信号，从而使得单光子的到来可以被准确地检测和记录。
美国Satat等利用SPAD，逐像素记录光子在经过散射介质后的完整时域信息，如图25(b)和图２６(i)～(k)所示，并利用参数估计的方法从中提取呈时域Gaussian分布的弹道光成分，相比超快门的成像方式，全部的光子信息被记录下来，成像对比度及三维重建能力得到极大提升。

建模弹道光子飞行路径的方法

建模弹道光子飞行路径方法原理

该类方法以窄带脉冲激光作为场景主动光源，结合超快光子探测器(如条纹相机、单光子雪崩二极管)生成时间相关的瞬态数据，如图２７所示。由于瞬态图像中包含光子的飞行时间信息，可结合场景中特殊的几何特征对光子的飞行路径进行空时建模。

建模弹道光子飞行路径的方法可以分离散射光与弹道光，主要是因为弹道光和散射光在传播过程中具有不同的特性，这些特性可以被合适的模型和算法捕捉和分离。

散射光的特性：
1. 散射光在传播过程中会随机地改变方向和相位，导致光的传播路径变得复杂和不可预测。
2. 散射光的传播路径通常是多径的，即光线可以经过不同的散射事件到达目标区域，造成模糊和扩散。
3. 散射光的强度分布通常呈现均匀分布，不具备明显的方向性。
弹道光的特性：
1. 弹道光是由于直接传播到目标区域的光子，其传播路径相对较简单和可预测。
2. 弹道光的传播路径通常是单一的，即光线经过一次直接传播到达目标区域，不会出现多径效应。
3. 弹道光的强度分布通常呈现明显的方向性，具备明显的主方向。
基于以上特性，可以使用数学模型和算法对弹道光子和散射光子进行分离：
1. 弹道光的传播路径可以通过几何光学模型或直接传播的物理模型来建模和预测，从而准确地定位目标物体的位置和形状。
2. 散射光的传播路径通常采用散射模型来描述，可以使用散射方程或散射参数来建模和预测散射光的传播。
3. 使用适当的信号处理和分离算法，可以从混合的光场中提取出弹道光的信号，实现散射光与弹道光的分离。
通过建模弹道光子飞行路径和散射光的传播过程，并使用合适的数学模型和算法，可以实现对散射光与弹道光的分离，从而提高光学成像的分辨率和质量，特别是在存在强散射的复杂场景中。

常用算法

根据建模的算法不同，建模弹道光子飞行路径的方法主要分为反投影算法、线型优化算法、非线性重建算法、合成分析与几何重建算法、波传播重建算法。

局限与应用

建模弹道光子飞行路径的方法在有效分离弹道光和散射光的同时，也能重建目标的高分辨率三维图像，但由于重建过程对场景的几何约束依赖性较强，这类方法目前只适用于处理一些特定的简单散射场景，如漫反射墙面，常应用于非视域场景中。

分析幅度调制光相位的方法

分析幅度调制光相位方法的原理

建模弹道光子飞行路径的方法在有效分离弹道光和散射光的同时，也能重建目标的高分辨率三维图像，但由于重建过程对场景的几何约束依赖性较强，这类方法目前只适用于处理一些特定的简单散射场景，如漫反射墙面，常应用于非视域场景中。
- 散射多径效应使得传感器接收信号中的弹道光以及散射光有不同的相位滞后，这种延迟对应于光传播时间，可通过调制信号与接收信号互相关估计

图２８调制光源照射下，不同光子飞行路径使得接收信号的相位相比参考信号有所延迟图２８调制光源照射下，不同光子飞行路径使得接收信号的相位相比参考信号有所延迟

如图２８所示，调制光源为正弦信号sin(ω＋φ)，由于弹道光子和散射光子的传播路径不同，两类光子所对应的采集信号[sin(ω＋φ１)和sin(ω＋φ２)]随时间的变化具有不同的相位延迟，利用这种相位差可实现分离，同时利用多频率多初始相位的调制光重复实验，可消除相位以２π为周期造成的相位歧义。

分析幅度调制光相位方法的实现

基于此原理，2014年加拿大Heide等在多频率多相位调制光的照射下，利用光子混频器同样实现了三维瞬态图像的获取，实现了体散射下的目标物重建。虽然多频多相位的采集限制了其对动态场景的分辨能力，且光子混频器配合调制光的时间分辨能力不如窄带脉冲配合超快光子探测器，但前者的造价远低于后者，同时前者还具备一定的环境鲁棒性。（性能稍差，但便宜好用）

分析幅度调制光相位方法的改进

２０１９年，日本Muraji等在采集多频率的数据时发现，如果两个像素的深度相同，则散射介质对其造成的相位差异相对于调制频率是恒定的，否则会随调制频率的变化而变化。根据这一特征，可从测量图像中提取具有相同深度的像素，然后通过像素聚类恢复场景的深度信息，以提升算法在散射场景中的深度重建能力，如图２９所示。
- 深度信息对与图像重建的影响：深度是指目标物体或场景与成像系统的距离。在图像重建中，深度可以影响图像的清晰度、细节信息和形状准确性等方面。
  1. 清晰度：深度的变化会导致图像中的目标物体在焦平面上的位置不同，从而影响图像的清晰度。当目标物体位于焦平面上时，图像清晰度最高，而当目标物体偏离焦平面时，图像会变得模糊。
  2. 细节信息：深度的变化也会影响图像中目标物体的细节信息。在焦平面附近，图像能够捕捉目标物体的细节信息，而在焦平面以外的区域，图像的细节信息会受到影响。
  3. 形状准确性：对于三维目标物体或场景的重建，深度信息是非常重要的。深度的变化可以影响图像中目标物体的形状和位置的准确性。

此外，在特定单一频率调制光源照明的条件下，Ramachandran课题组采集静态或规则运动目标物经过动态散射场景的视频序列，在视频序列中弹道光成分随时间的变化频率与调制光频率保持一致，而散射光成分因受动态散射介质的影响而产生随机且混乱的时间变化，根据这一差异，以正交解调的方式降低视频序列中散射光子的比重，从而达到去散射的目的，如图３０所示，并可以针对不同散射介质改变调制频率，优化成像效果。后续该课题组以电光晶体作为快速正弦光传输门代替了传统电控幅度调制光，用光学方式实现了快速正交解调，提升了成像速度，但该类方法不具有对静态散射介质的成像能力。
- 正交解调是一种通过信号的正交分量来解调信号的技术。在光学成像中，通过正交解调技术可以将目标光子和散射光子分解成正交的分量，然后只保留目标光子的分量，从而减少散射光子的比重。

超高时间分辨技术的总结

区分光子到达时间、建模弹道光子飞行路径和分析幅度调制光相位这三类方法在重建原理上是一致的，都是利用主动光源照射下高分辨空时数据实现成像和场景深度信息重建，在动态体散射介质中展现出极佳的性能
这其中区分光子到达时间的方法在系统层面实现了弹道光子和散射光子的简单分离，通过门控对散射光进过滤。
建模飞行路径的方法考虑了更多的场景几何因素，形成了对于光子到达时间差异的进一步解释。
而分析幅度调制光相位的方法具有更高的环境鲁棒性，由于弹道光子和散射光子的传播路径不同，两类光子所对应的采集信号随时间的变化具有不同的相位延迟。
但这三类方法都属于主动成像，其特定的照明方式和相对复杂的时域采集设备都限制了超高时间分辨技术的有效作用距离和适用范围。

总结

将现有散射成像技术在光照方式、采集设备要求、先验信息辅助、散射介质强弱及类型、视场范围及适用场景等方面进行分析比较，如下表

散射成像技术	照明	成像设备	先验信息	散射环境	散射复杂度	利用的光子	FOV	应用场景
利用介质空域特征	激光或生物荧光	相机	波前整形：反馈信号反卷积：PSF 相关性：无	主要是静态介质	高	弹道光子和散射光	受限于记忆效应，小于±3°	磨砂玻璃或者生物组织
大气传输方程	只有发光的目标物	相机	大气散射系数或大气PSF	动态雾气	低	弹道光子和部分散射光	无限制	雾
传输矩阵标定	空间调制光	相机	完整的传输矩阵	静态介质	特别高	弹道光子和散射光	限制于传输矩阵的大小	磨砂玻璃、生物组织等
空域散射光分离	无源光	相机	无	静态或动态介质	中等	只有弹道光子	无限制	雾、浑浊的水、低亮度环境
基于OCT相关的技术	低相干光	相机	无	静态或动态介质	特别高	经过多次散射后累积的弹道光	限制于OCT设备	薄生物组织、体内测量
超高时间分辨技术	窄带脉冲光或振幅调制光	超高时间分辨率相机	无	静态或动态介质	高	只有弹道光子	限制于光源或相机	雾、浑浊的水、纸或者漫反射表面

从整体来看，利用散射光的方法往往需要额外引入先验信息辅助成像，如成像响应的标定、散射系数的获取等，但成像装置相对简单。而在同等散射强度下， 分离散射光的方法却对成像装置的精度和复杂度要求更高，对先验信息的使用则弱于利用散射光的成像方法。
- 对各类方法进行深入比较分析，空域散射光分离方法对光照方式的限制最小，采集装置最简单，环境鲁棒性最高，适用于自然光照场景，但由于弹道光和散射光在空域的差异性不明显，该方法的去散射能力较弱；而大气传输方程的去散射能力虽与空域分离法近似，但一般应用在目标物自发光的散射场景。
- 为了能在更复杂的散射场景实现清晰成像，时域散射光分离的方法牺牲了对装置简易性的要求，OCT技术、区分光子到达时间、建模光子飞行路径、分析调制光相位４种高时间分辨去散射的方式被提出；传输矩阵标定的方法牺牲了无先验性，在获得分析介质散射特性能力的同时，减少了方法适用场景；而利用散射介质空域特性的方法则主要牺牲了视场范围。
应用方向与现存局限：这些方法在各自的适用场景，包括去雾、透过生物组织成像、在浑浊水体中成像、墙面反射或透过面散射介质成像等方面都展现出优势，但也体现了去散射能力强弱与成像装置复杂性、适用性和先验性之间的矛盾，缺乏统一有效的去散射方法，因此如何在无先验的情况下面向散射效应更强的介质，利用更简易的装置实现清晰成像，是散射成像领域的研究热点 。
发展方向：现有成像技术也都在算法和装置等方面努力提升其普适性，扩大应用范围，同时也向更复杂的散射环境努力，尽力减小对先验信息的依赖。此外，引入其他模态的传感器数据(如红外相机、毫米波雷达、激光雷达等)，与相机获取的数据进行融合，也是解决散射成像问题的新思路。
有弹道光子 | 限制于光源或相机 | 雾、浑浊的水、纸或者漫反射表面 |
从整体来看，利用散射光的方法往往需要额外引入先验信息辅助成像，如成像响应的标定、散射系数的获取等，但成像装置相对简单。而在同等散射强度下， 分离散射光的方法却对成像装置的精度和复杂度要求更高，对先验信息的使用则弱于利用散射光的成像方法。
- 对各类方法进行深入比较分析，空域散射光分离方法对光照方式的限制最小，采集装置最简单，环境鲁棒性最高，适用于自然光照场景，但由于弹道光和散射光在空域的差异性不明显，该方法的去散射能力较弱；而大气传输方程的去散射能力虽与空域分离法近似，但一般应用在目标物自发光的散射场景。
- 为了能在更复杂的散射场景实现清晰成像，时域散射光分离的方法牺牲了对装置简易性的要求，OCT技术、区分光子到达时间、建模光子飞行路径、分析调制光相位４种高时间分辨去散射的方式被提出；传输矩阵标定的方法牺牲了无先验性，在获得分析介质散射特性能力的同时，减少了方法适用场景；而利用散射介质空域特性的方法则主要牺牲了视场范围。
应用方向与现存局限：这些方法在各自的适用场景，包括去雾、透过生物组织成像、在浑浊水体中成像、墙面反射或透过面散射介质成像等方面都展现出优势，但也体现了去散射能力强弱与成像装置复杂性、适用性和先验性之间的矛盾，缺乏统一有效的去散射方法，因此如何在无先验的情况下面向散射效应更强的介质，利用更简易的装置实现清晰成像，是散射成像领域的研究热点 。
发展方向：现有成像技术也都在算法和装置等方面努力提升其普适性，扩大应用范围，同时也向更复杂的散射环境努力，尽力减小对先验信息的依赖。此外，引入其他模态的传感器数据(如红外相机、毫米波雷达、激光雷达等)，与相机获取的数据进行融合，也是解决散射成像问题的新思路。

看你们开车

关注

0
点赞
踩
10

收藏

觉得还不错? 一键收藏
1
评论
综述《散射成像研究现状及展望》阅读笔记

基于扩散方程的方法对强散射介质具有更高的适用性，但对扩散方程的描述需要时空数据的配合，这增大了成像装置的复杂性，需要高时间分辨率的采集装置和窄带脉冲光源对场景进行主动照明，同时重建结果精度较差。从整体来看，利用建模传输过程去散射的方法需要一定的场景先验信息辅助，同时要求在特定光源或自发光物体下实现成像，环境鲁棒性低，但成像效果和去散射能力较好。另外通过建模传输过程也可逆向分析散射介质的特性，便于进一步理解散射成像机理。光场由于获取到更高维度的输入信息，
复制链接

扫一扫