数据驱动下的偏振光学成像——综述

原文链接（2024年2月）

Data-driven polarimetric imaging: a review

用于计算光学领域下的偏振光学参考，综述，转载注明本文。

Introduction

这一部分不是重点，所以较为简略

第一段——偏振光学应用领域和广阔前景（polarimetic imaging）

第二段——深度学习和偏振光学的适配性

第三段——现在白光成像在深度学习的缺陷，如：可解释性较差、信息维度低等，强调本文目的

第四段——本文结构

Data-driven polarimetric imaging

Short history

这一部分不是重点，所以较为简略

第一段——偏振成像历史，主要应用领域：材料、遥感、生医。引出在cv的应用

第二段——深度学习历史，算力和数据的提升

第三段——偏振与深度学习的结合历史，数据驱动的偏振成像领域“data-driven polarimetric imaging”，历史见图1

Trends

第一段——数据驱动的偏振成像旨在弥补单一信息（光强）解释模型的缺陷和困难，其应用广阔，涉及四个领域，如图2

这里作者将偏振与深度学习的结合分为四种过程：

1. 由简单的偏振图像（0°或45°等）到偏振获取的特征信号（mueller或者偏振参数）到物理先研知识
2. 由端到端结构到物理模型（物理公式）引导的网络结构到物理模型（物理公式）内嵌的网络结构
3. 由单一信号源（光强或偏振）到多种物理信号（相位+偏振+光强+光谱+散斑成像）
4. 从信号处理（降噪、超分辨、去雾、动态增强、三维重建、去反射、低光场成像）到语义任务（语义分割、伪装目标探测、分类、病理诊断）

Applications of data-driven polarimetric imaging

根据应用领域将数据驱动的偏振成像分为七种，如图三

Restoration and enhancement of accurate polarization information

       准确的偏振信息是成像及其应用的基础。在现实世界中，理论约束和技术限制导致偏振信息失真此外，非线性操作获得的偏振参数对噪声非常敏感。因此，有效地恢复和增强偏振信息对后续应用至关重要。在本节中，分析了偏振测量技术的局限性，并回顾了现有的精确偏振信息方法地恢复和增强。

Polarimetry techniques

       第一段——偏振测量技术是获取偏振信息的关键。为了获得基于Stokes矢量的偏振特性，必须捕获多个亚偏振方向图像(0°、45°、90°和135°或0°、60°和120°)。然而，在间接获取偏振信息的获取和计算过程中，引入了额外的成像噪声，大大降低了偏振信息的精度。迄今为止，测量偏振图像有四种典型的方法:分时/旋转单元法、分振幅法(88 ~ 90)、分孔径法(91、92)和分焦平面法(93 ~ 95)。

注：偏振特性polarization characteristics，获取capture，多个亚偏振方向图像Several sub-polarized direction images 极大地sharply

第二段——主要内容为不同偏振成像方法的优缺点

1. 分时法：时间间隔长导致对于动态场景成像配准困难或者成像差
2. 分增幅法：光强下降为原来的1/4，放大噪声，无配准问题
3. 分孔径法：昂贵、无配准
4. 分焦平面法：瞬时视场误差导致的马赛克和低分辨率

       注：四个不同偏振方向的同轴摄像机 four coaxial cameras with different polarization directions. 瞬时视场误差instantaneous field-of-view errors (i.e., mosaicking and low-resolution problems)

第三段——Stokes和Mueller原理，对于mueller分解方法介绍，引出本节主要内容，对图4的情况进行解决

Restoration and enhancement of polarization information methods

弱光环境导致的低信噪比，影响了成像质量，使得弱光成像具有挑战。在偏振成像中，偏振信息的精度会降低。现有方法在光强成像中考虑去噪、色差校正和曝光时间[107,108]。然而，偏振成像和常规光强成像之间的差异并没有被充分的考虑。

基于数据驱动的能力，Hu等人提出了一种名为IPLNet的一对三(强度、DoLP和AoP)混合网络，可以同时增强强度和偏振信息的图像质量[42]，如图5(a)所示。将彩色RGB子网络生成的增强RGB图像分成3个通道，将每个通道送入偏振子网络中预测偏振信息。增强后的结果以及与主流方法的对比如图5(b)所示，每张图像的结构相似指数(SSIM)对应值。然而，该网络产生了许多参数，极大地降低了运行效率。图像颜色也不准确。

因此，Xu等人首先通过ColorPolarNet网络对四幅偏振方向图像进行初始去噪和色彩偏差校正，并利用偏振差网络对强度细节、DoLP和AoP图进行增强[50]。结果表明，该方法在信号保真度、对比度增强和色彩再现方面具有更快的处理速度和更好的性能[50,109]。与IPLNet相比，ColorPolarNet的表现稍优于IPLNet。此外，与IPLNet相比，ColorPolarNet的色差(CD)明显更低，表明失真程度更低。在处理速度上，ColorPolarNet(2.88秒)是IPLNet模型(6.10秒)的两倍多。

注：弱光环境photostarved environments 降低degraded

分焦平面法中全分辨率和精确的偏振信息的去马赛克和重建是必不可少的。

Zhang等人提出了一种卷积反马赛克网络PDCNN，学习粗插值结果与全分辨率极化图像之间的端到端映射[68]，这是第一种典型的反马赛克架构，如图6(a)所示。利用三次插值结果作为输入，直接插值引入插值偏差，这导致重构结果不准确。对比几种主流方法，DoLP和AoP的重建结果优于其他方法的各图像的PSNR对应值，如图6(b)和6(c)所示[110−113]。

Zeng等人提出了一种四层的端到端全卷积神经网络，该网络直接学习从DoFP到三个极化属性的映射:强度、DoLP和AoP[43]。

然而，AoP图像中的噪声仍然很明显。Wu等人提供线偏振角(AoLP)重建提供了一个物理上更相关的损失函数，建立了一种两阶段轻量化的方法来实时重建强度和偏振信息[44]。改进后的版本满足了实时推理的需求。Wen等人[114], Sargent 等人[115], Sun 等人[116]和Pistellato等人[117]也提出了数据驱动的去马赛克方法，以确保极化特征的保真度并提高图像分辨率。除了基于深度学习的方法外，其他方法在该领域也取得了良好的结果，例如基于稀疏张量分解的模型，该模型首次引入了张量分解和稀疏编码的结合[118]。

由于偏振参数总是通过非线性计算从测量光强中得到，这将放大AoP的噪声，因此降噪以精确地恢复偏振信息是一项重要的任务[10,119,120]。CNN在提取图像特征和隐藏结构方面具有明显优势;因此，它们适用于噪声环境下的图像恢复和增强。

Li等人利用深度神经网络显著抑制了偏振图像中的噪声，增强了图像质量[45]，然而，所有与渠道相关的功能都被平等对待，导致缺乏灵活性。

受注意机制的启发，Liu等人提出了一种基于注意的残差神经网络来去除噪声，恢复极化图像的偏振信息[77]，如图7所示。因此，所提出的方法可以更有效地抑制噪声，更准确地恢复极化信息，如图7(b)[109]所示。此外，还使用SSIM来比较不同方法获得的图像质量。

针对Mueller矩阵图像的去噪，Yang等人构建了一个深度残差U-Net，该U-Net将信道关注与许多配对的低信噪比和高信噪比Mueller矩阵图像结合在一起[78]。

注：nonlinear operators非线性计算

融合后的图像包含更多的信息比单一的物理性质，因为混合信息描述了各种特性。偏振和强度的融合是实际应用中最常用的方法[121−125]。强度图像描述了物体的反射率和透射率，而偏振图像描述了纹理细节、材料属性、形状、阴影和粗糙度。这两种类型的图像提供了不同方面的互补信息，从而获得具有丰富物理特征的图像，提高了实际任务的性能。由于采用人工设计的融合因子，传统的融合方法难以处理各种场景。

基于CNN的优异性能，Zhang等人提出了一种称为PFNet的无监督深度网络来融合强度和DoLP图像[126]。特征提取模块利用两个Dense block将S0和DoLP图像转换成高维非线性特征映射，并利用拼接算子对特征映射进行融合，利用重构模块对融合后的图像进行重构。PFNet的架构如图8(a)所示。因此，基于深度学习的方法优于其他最先进的方法，如图8(b)[122−125]所示。SSIM用于比较不同方法得到的图像质量。相反，他们修改了架构以提高性能。使用Dense Block对输入图像和融合子网络进行编码，而不是使用连接算子对特征映射进行融合[127]。采用了新的损失函数策略，如融合图像与输入图像之间的损失、融合特征与编码特征之间的损失。该架构还可用于红外图像与可见光图像的融合，以及多点图像的融合。

由于响应函数的有限，数码相机总是只能捕捉范围的有限部分，导致低动态范围图像中曝光过高或曝光不足的区域无法反映高动态范围图像中的真实场景。Ting等人研究了偏振参数与偏振图像中像素曝光时间的关系，并训练了重建框架，利用偏振图像恢复高动态范围图像[79]。

恢复和增强的其他应用是基于数据驱动的偏振成像。偏振参数和其他物理性质是可以相互转换的。Liu等人使用深度神经网络将从单一偏振状态重建的全息图像转换为相当于使用单镜头计算偏振光显微镜捕获的图像[75]。

Si等人将Stokes图像输入精心设计的深度学习网络，生成基于Mueller矩阵的参数图像，如线性延迟和双衰减参数[58]。

Polarimetric descattering

散射介质中的清晰成像对于工业和民用领域(130)、交通监控系统(131)、自动驾驶(132)、遥感(133)、救援行动(134)、海底测绘(135)、海洋物种迁移和珊瑚礁监测(135)以及场景分析(136)等各种应用至关重要。然而，在散射环境中拍摄图像时，物体的能见度通常会急剧下降，这是由于空气中的云、水、霾、烟、雾等悬浮颗粒、土壤颗粒、海洋动物的漂浮排泄物、藻类、水下场景中的矿物盐等悬浮颗粒的散射造成的。背向散射光是混合在物体信号向相机传播的过程中。由于雾霾和水下环境下成像的物理性质相似，本文分析了基于深度学习和偏振成像的去雾和散射过程。

注：悬浮微粒suspended particles

这一节与我的研究方向并不相关，暂且跳过

Polarimetric imaging model in scattering media

End-to-end descattering network

Physical-model-guided descattering network

Physical-model-integrated descattering network

Three-dimensional shape reconstruction

通过分析光和表面几何之间的相互作用，我们可以重建物体的三维形状，其中偏振是至关重要的信息之一。自然光从物体表面反射后部分偏光。偏振反射隐含形状信息，因为菲涅耳方程相关DoP, AoP和微观表面的天顶角和方位角。从偏振推导形状的一个内在缺陷是表面取向的模糊估计。模型中合适的反正切函数会产生多值方位角，通常称为方位角模糊。来自不同方面的线索，如几何(168 - 170)、光谱(171172)、光度(173 - 176)。然而，仅依靠基于物理的成像模型，在非实验室条件下以高精度恢复形状仍然具有挑战性。深度神经网络出色的非线性表示能力可以缩小理想条件与现实条件之间的差距。本节回顾了结合深度学习(DL)的极化方法的现有3D形状。

Principles of polarization 3D shape reconstruction

表面形状改变了入射光的偏振态，为从偏振中恢复形状提供了可能。在偏振检测中，可以使用相机和安装在其前面的旋转偏振片或使用带有像素化偏振器的相机来获得偏振信息。捕获的图像强度呈正弦变化。

Data-driven shape from polarization in single reflection

在某些情况下，反射可以是纯粹的镜面或漫反射。例如，在人脸识别或穿着的身体重建任务中，皮肤、衣服和其他人体组织是漫射表面，镜面反射可以忽略不计。在透明物体重建中，镜面反射占主导地位。

对于具有服装细节的三维服装人体形状重建，Zou等人在设计中引入了偏振图像和两个模糊法线maps

对于以漫反射为主的情况，例如人脸重建，Han等人提出了一种基于学习的偏振被动三维人脸重建方法，如图15(a)所示。

在此基础上，基于漫反射的偏振，在像素级推导出每个微面在人脸上的模糊法线。基于cnn的三维变形模型(3DMM)基于直接捕获的极化图像生成人脸的粗略深度图，并利用Frankot-Chellappa三维表面恢复函数对模糊的极化法线进行修正，进一步重建出精确的三维人脸。图15(b)展示了最终的结果，包括室内照明下的男性面孔，室外自然照明下的男性面孔，以及室内的石膏雕像。3D渲染特征与原貌吻合较好，光照条件影响较小。实验还证明了将深度学习引入三维极化重建的好处。

透明物体表现出典型的镜面反射。Shao等人提出了多分支融合网络从镜面反射重建三维形状透明物体。然而，透射光通常是漫反射。因此，分离透射光是至关重要的。AoLP特征表明，高透射率区域的背景噪声较强。越靠近中心区域，噪声越强，如图16所示。物理先验置信度概念是基于透明物体AoLP图的内在缺陷。

Data-driven shape from polarization in mixed reflections

这两种基本条件产生的混合反射在自然情景中普遍存在。首先，表面的反射率决定了反射的类型:镜面反射还是漫反射。对于陶瓷、塑料和漆等材料，高亮区域主要是镜面反射，而其他区域主要是漫反射。其次，由不同材料制成的物体会在每个分割区域产生不同的反射。此外，还可以通过对每个区域分别进行重建来解决这一问题;然而，物体三维形状的分割算法和拼接是一个巨大的挑战。神经网络凭借其出色的非线性表示能力，为混合反射融合可解释或不可解释的特征提供了解决方案。

natural scenarios自然情景

第一种方法结合了深度学习和极化重建模型;Ba等人将极化图像和模糊法线映射馈送到网络中，并训练网络从训练数据中自动学习有效输入。输入是用偏振器捕获的四幅图像，模糊法线贴图由一个漫反射和两个高光模糊贴图组成。与传统方法相比，该方法在三种光照条件下对测试数据的测试误差最小。

基于偏振双向反射分布函数(pBRDF)模型和真实偏振场景渲染，Kondo等人应用渲染的偏振图像来训练网络以获得准确的表面法线估计。基于提出的pBRDF模型，构建了一个基于物理的渲染器来模拟每种材料的光线偏振行为。此外，它可以在真实场景中正确地再现偏振特性，包括互反射效应。因此，将合成的彩色图像和模拟的偏振信息，如相位和DoP，输入到CNN中来估计表面法线。具体过程及重构结果如图17(a)所示。

Reflection removal

Limitations of reflection removal based on polarization

消除反射污染是一项具有挑战性但又非常重要的任务，因为它可能会污染图像质量。根据不同的物理和图像特征进行了几项研究，但这仍然是一项不实质性的任务。由于通过表面的透射图像和表面反射的图像是由摄影师同时捕获的，因此从单一混合图像中恢复两幅图像是一个高度不适定的问题。约束对于解决这个问题至关重要。

反射光是偏振光，偏振光已被证明是解决这一问题的可行方法。基于菲涅耳函数，未知量与输入图像相近。反射和透射分量可以通过观察布鲁斯特角度来分离。而且，越接近布鲁斯特角，反射去除性能越好。尽管必须知道入射角，但在现实世界中获得它是具有挑战性的。此外，对已有偏振方法的鲁棒性和泛化性进行了研究。

基于CNN的深度学习方法在提取隐藏特征方面非常出色。此外，它能够从捕获的图像中预测潜在的先验信息，并在反射去除任务中表现出良好的性能。在网络中引入偏振和成像模型可以提高去除性能，扩展数据集和架构的多样性。然而，获取地面真实数据集是至关重要的。在此基础上，提出了基于该方法和改进的真实数据集方法生成合成数据集的方法。表3列出了在合成数据集和真实数据集获取中必须考虑的元素及其优缺点。

因此，必须添加人工操作来生成合成图像或收集真实世界的图像。在本节中，基于训练数据集的获取方面，我们回顾了使用合成数据集和真实数据集的现有反射去除方法。

Data-driven polarization reflection removal based on synthetic datasets

合成数据集通常用于训练网络，因为它们是难以访问的真实世界数据集。传统方法直接使用归一化权将候选图像相加作为反射和透射。实际测试表现出较差的性能。因此，基于偏振成像模型，生成了高质量和鲁棒性的合成数据集。

Data-driven polarization reflection removal under real-world datasets

尽管合成数据集不容易获得，但它们往往过于理想，并且在现实环境中无法充分考虑复杂的条件。真实世界的数据集也很重要，但由于玻璃和错位问题的影响，很难获得。

真实世界的数据集通常是使用可拆卸玻璃收集的。通过在探测器前面安装有玻璃的照相机来捕捉反射受阻的图像。在玻璃被移除后，传输的真实情况被捕获。然而，透射和折射之间的区别是不能忽视的。衰减引起的强度延迟和有色玻璃引起的颜色失真也很常见。为了消除这两个元素之间的不一致，设计了一种感知层面的图像相似性损失，如感知损失和上下文损失。然而，强度延迟和颜色失真仍然存在。

由于玻璃折射，所采集的无反射图像与输入的混合图像不能完全对齐。为了避免不对准问题，Lei等人使用一块黑布覆盖玻璃背面，以阻挡所有透射以获得清晰的反射。该数据集包括现实世界中大约100种玻璃，这指导了所提出的方法在不引入人工制品的情况下处理不同类型的反射。反射去除网络采用多极化方向图像作为输入。然后，将计算得到的偏振强度、偏振度和偏振角，以及消除过曝光区域的过曝光掩模组合到网络中。采用两个阶段来估计反射和透射。该设计极大地提高了所提方法的性能。

总之，反射去除是至关重要的，因为获得病态问题的解析解是具有挑战性的。偏振信息的引入可以在入射角未知的情况下，利用菲涅耳函数指导反射去除。因此，结合深度学习学习先验参数是一种可行的方法。获取数据集决定了所提方法参数估计的有效性和鲁棒性。在本研究中，提出了合成方法和实际方法。在未来，必须发展更全面的环境和完整的理论来有效地解决反射去除任务。

Target detection

对于目标分类或检测，偏振数据驱动方法可以提高效率，并且与传统方法相比，不需要人工提取图像特征。然而，现有方法仅使用强度信息图像，导致低光环境或伪装目标的准确率降低[188−193]。目标和背景的偏振特性也不同。偏振成像可以有效地揭示这些差异，并协助目标检测。因此，我们可以期望通过引入偏振得到积极的结果。

Fan等人首先提出利用偏振与基于强度的信息互补来改进车辆检测精度。进行特征选择过程，选择信息量最大的偏振特征。最后的检测是基于融合规则，该规则使用基于偏振的模型来确认基于颜色的模型。Gao等人提出了类似的工作。

Blin等人证明了偏振成像对于道路场景中的目标检测是有用的。Sun等人采用三维卷积来考虑S0、S1、S2图像之间的关系，以提高有限偏振图像的检测率。

Xie等人利用Stokes向量获得了I, DoP， [I, DoP, AoP]和[S0, S1, S2]四种不同配置的极化参数图像数据集，并训练了不同的偏振图像检测模型，表明增强偏振信息融合可以学习到更多的目标特征，更好地检测目标。

Tian等人提出了一种针对现实场景的人脸抗欺骗方法，该方法使用CNN和SVM共同提取人脸的唯一偏振特征并对其进行分类。在不受控制的室内和室外条件下进行了各种面部欺骗攻击(打印、回放和屏蔽)的实验。

Usmani等人利用三维偏振积分成像数据提出了退化环境中统一的偏振目标检测和分类。基于深度神经网络的三维偏振图像可以在不同弱光条件下和遮挡情况下有效地检测和分类偏振目标。

Shen等人将偏振成像和深度学习的优点结合起来，对自然场景中伪装的人造目标进行快速目标检测，如图20所示。计算了各图像的色差，证明了该方法能更大程度地突出被伪装的人工目标。

Biomedical imaging and pathological diagnosis

基于Mueller矩阵特征的生物医学成像和病理诊断方法是新兴的无标记、无创的技术，适合于表征具有各向异性特性的生物组织的微观结构。最近，基于Mueller矩阵成像的数字病理结果已经发表了很多。然而，通过实习医生观察和评估染色的病理切片来实现准确的病理诊断是具有挑战性的。此外，病理诊断是一个分类问题;因此，基于学习的方法对于实现快速准确的数字化诊断至关重要。本节综述了现有数据驱动的生物医学成像和病理诊断方法及应用。接下来，我们讨论了基于距离学习分类器的网络层物理性质的解释。

Existing biomedical imaging methods

Li等人首先提出了一种Mueller矩阵成像系统，使用CNN对形态相似的藻类进行分类。由于基于藻类穆勒矩阵先前测量的藻类极化信号对比度较低，因此在没有高精度仪器的情况下进行分类是具有挑战性的。提出的方法通过比较不同网络层数的性能来确定卷积层的数量。训练分类器网络从Mueller矩阵中提取特征，分类准确率达到97%。随后，他们引入了一种称为Siamese网络的距离度量学习方法，旨在学习低维特征空间中藻类穆勒矩阵图像的良好距离度量。与卷积CNN方法相比，在Siamese方法中，随机生成数据对作为输入来训练网络，以确定它们是否属于同一类别。实验表明，将Mueller矩阵成像与Siamese方法的CNN相结合，可能是对形态相似藻类进行自动分类的有效解决方案。

Zhao等人提出了一种使用Mueller矩阵极化显微成像和多参数融合网络(MPFN)的巨细胞肿瘤骨检测方法，该方法结合了提取的三个极化特征:deep micro-Pol特征、MMPD特征和MMT特征，如图21所示。

Wang等人和Zhou等人使用偏振散斑图像进行体内皮肤癌检测，使用偏振高光谱图像进行头颈部鳞状细胞癌检测。

Yao等人利用Mueller矩阵极性分解和一组旋转不变参数及其相应的角度参数表征了典型增殖期和分泌期子宫内膜样品的微观结构。本研究将极化成像技术与数字病理学技术相结合，定量研究子宫内膜样品的显微结构特征。此外，通过局部二值模式(local Binary Pattern, LBP)分析，结合图像的局部纹理信息，提高了图像的表征偏振参数图像的能力。实验表明，在典型的增殖和分泌期，偏振成像与数字病理技术相结合是可行的。

Physical interpretation of network layers

然而，网络层的物理性质尚不清楚。在数据驱动的偏振成像中，Muller矩阵提供了代表偏振信息的最全面的信息，并且已经提出了大多数提供原始基本参数的分解方法。因此，穆勒矩阵对于探索网络层的解释是至关重要的。

在ref.61中，作者计算了藻类Mueller矩阵元素与CNN提取的特征之间的皮尔逊相关系数从f0到f15。实验表明，特征f2、f3、f6、f7与退偏相关元素呈正相关;f1、f4、f10、f12、f13呈负相关。此外，f0, f5, f9和f15中保持了快轴取向相关的周期性变化。

Dong等人提出了一个数据驱动的偏振成像框架，并构建了一个双模态机器学习框架，用于宫颈癌前病变的定量诊断，如图22所示。采用U-net架构对数字化宫颈苏木精染色图像中的上皮细胞进行分割，并掩膜相应宫颈样本的偏振基础参数(PBPs)，这些参数是基于MMPD、MMT和其他Mueller矩阵旋转不变参数分解的。然后，利用所设计的基于统计距离的学习分类器对这些掩模参数进行处理，得到偏振特征参数(PFP)。

PFP可以表示为pbp的简化线性组合，这与特定微观结构变化的分布相似。不同的权重表示PFP特征元素的重要程度。

结果证明了偏振特征参数的物理可解释性。例如，复杂的宫颈癌前病变样品表现出各种类型的各向异性叠加的极化特征。宫颈癌前标本的退偏能力随病变的发展而改变。此外，病理子宫颈标本在不同阶段的传播和散射过程中出现了相位延迟和退偏的变化。因此，该方法对宫颈病变病理组织的筛查具有较高的灵敏度和精度，并可能为CNN带来物理可解释性。

Semantic segmentation

图像分割是遥感和自动导航领域研究场景的热点问题。通过对不同类型海量数据的学习，实现了数据驱动的分割方法良好的性能。然而，基于强度的方法在具有相似颜色、杂乱或反射区域的场景中总是会受到影响[208 - 212]。这种选择面向偏振成像，它提供了从复杂场景的变化中区分和恢复的能力。已经提出了几种方法，通过偏振成像和深度学习来实现遥感、道路场景和透明物体的分割。

Shaunak等人将增强数据集中的信息转换为极化合成孔径雷达数据的紧凑表示，以对城市区域进行分类和分割。道路场景的分割是一个典型的应用，其中水危害、透明玻璃和金属表面是关键挑战。

Yang等人提出了单眼RGB图像偏振信息的预测，作为对现实世界可穿戴辅助导航系统中基于RGB的逐像素语义分割的补充，如图23所示。

同样，Zhang等人和Blanchon等人使用不同的架构来实现相同的目标:户外环境的鲁棒和准确的场景解析为自主导航和关系推理找到了方法。在透明物体分割中，透明物体的偏振纹理提供了与背景不同的额外信息。因此，可以根据强度和极化信息训练极化CNN框架，这将有助于机器人、自动驾驶、人脸认证等广泛领域的应用，如图24所示。平均精度(mAP)用于表征测量精度。

Discussion

Input and utilization of polarization information

输入信息是使用偏振成像和深度学习进行网络训练的关键因素。然而，不同的任务存在不同的输入和极化参数。我们考虑三个视角作为网络输入:原始偏振图像(OPI)、偏振参数特征图(PPFM)和相关参数图(APM)，如图25所示。

原始偏振图像是最广泛使用的输入之一。OPI是指使用DoFP、相机、穆勒矩阵偏振显微镜或其他设备直接捕获的图像。由于快速响应和一次捕获的全面偏振信息，DoFP捕获的原始超像素图像是常用的输入。其他常见的输入是面向偏振的图像，通常设置为0°，45°和90°。此外，还有增加135°或圆偏振信息的变体。平行偏振分量和垂直偏振分量分别用于训练除雾网络。由探测器散射介质后捕获的偏振散斑图像是另一种类型的OPI。

利用OPI计算偏振参数特征图。基于Stokes表示，[S0, S1, S2]是极化网络训练中广泛使用的常见集合。此外，由OPI或Stokes矢量图像计算的DoP和AoP是一种用于网络训练的新材料。在生物医学诊断中，Mueller矩阵图像是网络最常见的输入，由Mueller矩阵图像分解的Mueller矩阵参数也可以馈送到网络训练中。表4列出了Mueller矩阵方法现有的分解参数。

相关的参数图是OPI和PPFM与其他信息或针对不同任务的预处理相结合的图像。光强信息是基于OPI和PPFM的最常见补充。同样，光谱和相位是对偏振信息的一般补充。在3D形状重建任务中，有不同的补充，如由镜面和漫反射导出的天顶角和方位角映射，viewing encoding，encoded AoP，归一化color，以及基于不同条件的基于物理的先验置信度。在去马赛克任务中，使用双三次插值方法对原始图像进行插值。在网络输入端使用过曝光掩码，以避免在去除反射时出现过曝光区域。场景分割网络通过结合偏振伪彩色图像83，利用HSL色彩空间表示。

Datasets

由于不同任务的需求，数据驱动极化成像数据集的数量逐渐增加，如表5所示。七种类型的数据集与上一节中描述的相应任务相关联。考虑了三种构建数据集的策略。首先，与输入相对应的ground truth;因此，直接捕获ground truth以纠正输出。其次，考虑成像系统的传递函数，模拟生成过程，生成ground truth;此外，比较不同的传统方法，选取ground truth的最佳结果，是结合现有方法优点的另一种方法。

整体数据集之间在数量和大小上存在较大差距，即使是在相同的任务中，如表5所示，这也无法避免CNN在提取特征上的差异。此外，研究人员使用自收集的训练和测试数据集;然而，评估和比较不同的方法是具有挑战性的。因此，必须为此任务构建权威数据集。

Loss function

损失函数是指导网络训练的关键因素，损失函数的选择至关重要。每种损失函数都有其优缺点。因此，根据给定的任务和成像环境，采用特定的损失函数。表6列出了数据驱动偏振成像的最新质量损失函数。下面是与强度损失函数不同的几个函数的详细描述。

Future of data-driven polarimetric imaging

偏振成像领域受到深度学习的影响，深度学习最近成为最具颠覆性的技术之一。首先分析了数据驱动偏振成像的发展趋势，重点介绍了数据驱动偏振成像的应用，并对现有的研究成果进行了综述。此外，高精度偏振信息的获取是后续成像和语义处理的基础。散射、三维形状重建、反射去除、生物医学成像、病理诊断、目标检测和语义分割是数据驱动偏振成像应用的关键。因此，全面的讨论偏振信息、数据集和损失函数的输入和利用是必要的。

本节基于数据驱动偏振成像的优势、劣势和机遇，对其未来进行了评估。此外，该方法适合为结合深度学习和极化信息的进一步研究制定指导性策略。

Strengths

数据驱动偏振成像代表了一种将深度学习与传统物理性质相结合的新范式，包括改变物理性质的模式以获得更好的结果，以及在传统物理和高阶非线性表达之间平衡物理模型和信息提取。应用物理模型和深层网络层所表示的信息，使研究人员能够利用嵌入在所有信息传输路径中的潜在特征。

在成像过程中，光源、传输介质、成像系统和图像处理方法都会影响视觉性能。此外，使用物理函数或传统方法对这些复杂过程进行建模是具有挑战性的。网络层是由卷积神经网络表示的高阶多项式。因此，网络层的非线性表示可能有助于模拟这一过程。

将深度学习引入到传统的偏振成像和模式识别中，可以为物理模型生成更准确的系数，模拟物理函数无法建模的复杂处理方法。然而，在深度网络中引入极化成像模型会增加物理约束和偏振信息来指导网络训练，从而获得比强度网络更好的性能。因此，数据驱动的偏振成像可能实现传统方法无法实现的功能。

paradigm范式

Weaknesses

在训练一个能够获得更好表现的偏振成像网络中，研究人员必须权衡与数据驱动的偏振成像和传统方法的成本，其中包括建立偏振成像数据集，数据存储以及成像系统总是传统数据集的四倍。因为平衡这些成本和收益是不精确的，不确定性在这个过程中需要被考虑。

数据驱动的偏振成像的一个基本要素是全面数据集的可用性。大多数数据驱动的偏振成像方法都集中在监督深度学习上。然而，基于偏振成像方法和成像环境，与基于光强的网络相比，捕获相应的ground truth更具挑战。此外，不同的偏振成像技术会引入不同的误差，并影响网络的视觉性能。例如，在动态场景中，分时法总是存在不匹配的问题，分焦平面原则上存在拼接问题。现有的方法已经建立了它们的数据集来响应特定的任务。然而，从其他数据集确保类似的性能是具有挑战性的;此外，现有数据集不足以覆盖所有条件，其泛化能力不足。真实数据随着时间的推移而变化，这表明数量增加和方法处理不当。

损失函数，它在指导网络的训练总是类似于数据驱动偏振成像中使用的基于光强的方法。一般算子用偏振参数代替强度图像。然而，光强和偏振信息具有完全不同的光学性质。强度图像描述了物体的反射率和透射率;然而，偏振图像描述了纹理细节，材料属性，形状，阴影和粗糙度。这些差异决定了不同的损失函数设计。然而，主要关注偏振参数的损失函数并不显著。

黑盒及其被应用人员接受性是健康领域的深度学习方法的固有缺陷。因为深度学习理论还没有给出一个完整合理的答案，所以实际应用领域的大部分研究人员都持谨慎态度。此外，进一步的开发和优化将只依赖于任务的表现，而没有理论的指导，这导致了研究的不确定性。此外，黑盒功能的法律可能是另一个挑战。例如，如果病理诊断或靶标检测结果不正确，谁来负责?在数据驱动的偏振成像中，偏振信息的引入可能有助于深度学习的可解释性。Dong等人试图使用输入PBPs的线性投影，通过学习每个参数的因素来解释它们的重要性。然而，为了实现这些目标，已经进行了许多研究。

偏振信息在深度学习中的结合与利用还处于起步阶段。在现有的大多数方法中，偏振参数图像是唯一使用偏振信息作为网络输入的方法。偏振特征的提取依赖于网络层的自动处理，偏振信息的利用仍然是一个挑战，尽管有无限的改进机会有待探索。

Opportunities

基于数据驱动偏振成像的弱点，已经提出了解决这些差距的解决方案。此外，还存在许多新的训练方法和物理模型，如无监督或半监督训练、迁移学习和计算成像。因此，它必须与其他成像或者训练理论结合使用来指导优化过程。此外，三个广泛的应用领域:去散射成像，甚至高散射介质；伪装检测，欺骗目标；以及信息增强和融合评估了数据驱动偏振成像在未来应用中的潜力。

The opportunities of methods

物理模型的辅助:合成数据集解决了数据集的稀缺性。在数据集生成中，一个准确的模拟信息传输的物理模型至关重要。由于对CNN进行了额外的物理约束，与传统方法相比，需要更少的训练数据来获得更一般化的结果。此外，为了获得合成数据集，覆盖不同成像条件的各种参数至关重要。因此，传统偏振成像方法的发展适合于网络架构的设计。

无监督或半监督学习:获得大偏振数据集的基本ground truth是具有挑战性的。因此，需要无监督或半监督学习来减少对基础事实的依赖。然而，图像增强或图像处理是一个端到端的任务;因此，现有的没有ground truth的学习方法效果不佳。必须建立更全面的物理模型，设计更有效的损失函数来指导管道。另外，中间参数可以在不含地真值的情况下生成，这也是提高性能的一种可行方法。

迁移学习:迁移学习允许一个数据集的优化参数训练一个新网络作为另一个数据集的初始化值，这是一种可行的方法，可以减少数据驱动偏振成像中对数据集的依赖，因为学习到的特征可以迅速从一个训练好的网络转移到另一个任务的新网络。微调技术是迁移学习中的一种典型方法，它比从头开始训练网络更快、更容易。因此，提取的特征与浅层相似;此外，可以将已训练网络中的浅层复制到新网络中用于另一个任务，以减少训练时间的成本。

多维学习:在传统的强度网络中引入显示不同物理性质的极化信息，可以提供更多的约束和信息促进网络推理。类似地，相位、频谱和其他物理属性可以嵌入到网络中以增强性能。相位是光变化的代表产生，而光谱则描述了光的波长特征。这些性质将填补单个域不能完全代表所有物理性质的光域的空白。

联邦学习:为了在偏振成像应用中为深度学习提供一个实用的训练集，从不同的机构或公司获得各种可用的数据集可能是一个可能的解决方案。不同的任务有几个数据集，如表5所示;然而，不同组收集的数据集并不统一，因为很难保证从其他数据集获得相似的性能。因此，不同的数据集是有益的，增加了收集样本的多样性。此外，不同的成像系统、探测器、环境和观测方向都具有使用现有物理函数进行模拟的挑战性，这可以提高网络的泛化能力，避免过拟合。因此，这对于建立和优化以偏振图像为重点的评价标准具有指导意义。

超表面和超构透镜的出现:透镜和超表面的使用允许对特定偏振状态的光进行定制控制，通过精心设计实现。这种刻意的控制使偏振光信号的特定捕获，分离和分析成为可能，从而显着提高了获取偏振数据集的灵敏度和准确性。这些进步不仅扩大了数据驱动偏振成像的潜力，而且还补充了深度学习方法的能力，有望在极化成像应用中提供更精细的见解和更高的精度。

The opportunities of applications

在未来，方法的优化将以在更广泛的应用领域中获得更好的视觉性能为目标。对于偏振成像，依赖于偏振特性的方法包括散射成像、高散射介质、伪装检测、欺骗目标、增强和信息融合。与传统方法相比，深度学习、非线性表示能力和潜在特征提取提高了估计参数和可行传递函数的准确性。

对于高散射介质的散射成像，如云、水、霾、烟、空气中的雾、土壤颗粒、藻类、矿物盐等水下场景的散射成像，数据驱动的偏振成像有潜在的机会。然而，物理模型的进一步发展扩大了这种能力。然而，传统的模型函数在复杂的成像环境中难以处理，并且总是使用简单的假设来模拟真实参数。深度学习的引入可以利用卷积神经层对非线性情况下的复杂情况进行建模。未来的机会将来自开发更准确的参数，以形成由深度学习生成的改进的成像函数。

欺骗目标是伪装探测的另一个机会。目标检测在偏振成像中应用广泛，因为偏振信息可以描述物体的材质，适用于伪装和欺骗强度信息无法区分的同色目标。接下来，利用神经网络对特殊特征进行更全面的提取，可以进一步提高目标检测的成功率。

材料表面、纹理和对比度是偏振信息描述的主要特征，用于增强和融合信息。偏振参数在弱光或强光环境下是可以观测到的，因为它们不受光强的影响。因此，偏振图像与其他图像的融合可以扩展物体的特征域。该网络基于数据驱动的极化融合产生融合，与人工系数相比，通过提取更多特征和提供更多成像对象或场景的信息来提高性能。此外，来自各个领域的互补特征对其他计算机视觉任务(如目标检测)是有利的。

Conclusion

本文综述了近年来基于数据驱动偏振成像的七种分类，并从三个方面进行了全面的讨论。根据应用领域，分类包括偏振散射、三维形状重建、反射去除、恢复、偏振信息增强、目标检测、生物医学成像和病理诊断、语义分割。随后,我们综合分析在数据驱动极化成像中至关重要的输入、数据集和损失函数，列出现有的数据集和损失函数，并评估它们的优缺点。综上所述，基于深度学习的极化成像将极化信息引入到卷积神经网络中，获得比传统强度成像更好的性能，通过物理模型为CNN带来物理可解释性。通过对现有数据驱动偏振成像的研究，可以将相应领域的研究提升到一个更高的水平，使其能够增强高层次的视觉任务。