基于偏振成像和显著区域自补偿的水下显著目标检测

@ 基于偏振成像和显著区域自补偿的水下显著目标检测

发展前景

海底目标检测的应用：海底探矿、海底沉船搜索、坝基裂缝检测、水下管道检修，海底光缆的铺设、水下石油平台的建立与维修、海洋生态系统的研究等领域。其中，显著目标检测是水下目标检测、识别以及跟踪的关键。水下显著目标检测与传统的视觉显著目标检测一样，不仅可以有效地聚焦于水下图像的感兴趣区域，而且有利于未来水下视觉技术的发展。因此，针对水下显著目标检测的研究具有较高的实际应用价值。

水下图像特点

水下光学图像分辨率较高，信息量较为丰富，在短距离的水下目标探测任务中具有突出优势。然而，由于受水下特殊成像环境的限制，水下图像往往存在噪声干扰多、纹理特征模糊、对比度低及颜色失真等诸多问题。因此，水下目标探测任务面临诸多挑战，如何在图像可视性较差的情况下，精确、快速、稳定地检测识别和跟踪水下目标物体是亟待解决的问题。

水下目标检测是在给定目标物体的前提下，根据其特征和先验知识确认水下图像中是否存在该目标物体；水下目标识别是在给定一幅图像的情况下，通过提取图像中的特征信息，并将其进行分类，进而识别图像中的目标物体；水下目标跟踪是在目标检测的基础上对目标的状态进行连续估计的过程。检测和识别间并没有非常分明的界限，多数文献也将检测和识别的概念混在一起。

整体架构流程

目的：在实际应用中，由于特殊的光学水下成像背景环境，水下图像具有低对度、低信噪比和色彩失真等特点，传统的显著目标检测算法无法保证浑浊水下目标检测的准确性。本文针对水下成像特点并结合基于深度学习的显著目标检测算法，提出一种基于偏振成像和显著区域自补偿的水下显著目标检测算法。其中算法流程如下图所示：

如上图所示是整个网络的算法模型，可以分为两部分：水下偏振图像复原和
水下显著目标快速检测。第一部分首先水下偏振图像复原通过线性斯托克斯参数求得偏振度(DOP)P(x,y)和偏振角(AOP)θ(x,y)。同时选择同一场景下出现概率最高的AOP 作为后向散射光的AOPθ_B(x,y)。用θ_B(x,y)以及B_Px、B_Py计算得出后向散射光B_P(x,y)。通过计算再得到后向散射光强B(x,y)，再估算其他参数即可得到初步的偏振恢复图像。再对其进行去噪去模糊，得到精细的偏振恢复图像。接下来是第二部分：对精细的偏振恢复图像分别进行超像素过分割以及显著性目标初定位。超像素分割图和显著性目标初定位，可以获取到超像素显著区域和超像素非显著区域。同时对超像素图像中提取合适大小的面片，得到超像素的局部特征描述符OTC 特征。将显著超像素表示为前景超像素，将不显著超像素表示为背景超像素。在分类的过程中会存在把部分显著超像素划分为背景超像素和不显著超像素划分为前景超像素的情况，为了解决此情况，则采用k-means方法通过OTC特征进一步指导背景超像素和不显著超像素分割，得到精细的背景超像素和不显著超像素分割图。最终将精细的背景超像素和不显著超像素分割图送入到深度学习网络DeepLabv3+模型中进行训练。

Part-1 水下偏振图像复原

相机的辐照强度 I (x, y) 可以表示为：

其中直接透射光D(x，y)和后向散射光B(x，y)。其中直接透射光D(x，y)和后向散射光B(x，y)的公式如下：

其中是指是指在浑浊的介质中无穷远处的反向散射光强；L(x , y) 表示清晰场景下的辐照强度； t (x, y) 表示通过介质的透射率，描述了水中微粒对光的散射和吸收程度。其中 t (x, y) 可以描述为：

其中,β表示水中微粒的光密度，本文假定在不同波长下β为常数，即t (x,y) 只与 Z( x , y) 有关；Z (x, y) 表示图像的空间位置(x, y) 处与相机间的成像距离。
但是在真实水下环境中，影响成像质量的因素不仅有介质散射引起的衰减，还存在水下噪声以及L(x, y) 受到多重散射引起的模糊效应等，综合考虑这些因素提出如下成像模型：

由于模糊效应可以通过图像空间中的核函数的卷积表示，因此，本文将基于广义高斯分布的功率谱密度函数PSF相应地建模为hpsf(x,y)表示多重散射引起的模糊效应；N 表示水中微粒造成的随机噪声。
可以看出，公式（5）其实是由公式（1）得到的，只是加入了L(x, y)所 受到多重散射引起的模糊效应hpsf(x,y)与噪声N。
综上所述，结合式(2)和(3)，式(5)中的模型可表示为：

我们的目的是要获取场景辐照强度L(x,y)，故公式（6）可以写成：

令Lh(x,y)=L (x,y)*h(x,y) ，其中L (x,y)只需要对Lh(x,y)解编码即可。而Lh(x,y)可以根据公式（7）求得，只需要知道N，B(x,y)以及即可求出。接下来让我们逐步求解。

基于偏振角的 B(x, y)估计

在相机镜头前装上偏光镜，调整偏光镜角度，获取线偏振方向分别为0° 、45° 、90° 和135°的四张偏振图像I^0°(x, y) 、I^45°(x, y) 、I^90°(x, y) 、I^135°(x, y) 、，则线性斯托克斯参数为:

其中，S₀(x, y)代表入射光的总强度，等同于式(1)中的辐照强度值 I (x, y) 。 S₁ (x, y)和 S₂ (x, y)是线性偏振分量，S₁ (x, y)代表水平方向和垂直方向的线性偏振分量的强度差，S₂ (x, y)代表45°和135° 线偏振分量的强度差。由上可以得到偏振度(DOP)P(x,y)和偏振角(AOP) θ(x,y)的表达式，由此可以得到偏振度(DOP)P(x,y)和偏振角(AOP) θ(x,y)的值：

S₀(x, y)虽然包括直接透射光和后向散射光，但直接透射光在S₁ (x, y)和 S₂ (x, y)中占比很小。因此，根据式θ(x,y) 提供了比P(x,y)更为有利的信息，并且该参数也有助于准确估计场景散射光的偏振光强。
在本文中选择同一场景下出现概率最高的AOP 作为后向散射光的AOP，用θ_B(x,y)表示。如图中算法框架图
如图2 所示，以0°和90°的方向作为x轴和y 轴，在两个坐标轴方向上的后向散射光(B _p(x,y) )的偏振辐照强度可以表示为:

同时， B_Px 和P_Px 也可以表示为总辐照度与非偏振辐照强
度之差的一半。公式如下：

就可以得到后向光B _p(x,y) ，如算法图的标记。
在浑浊的水下环境中，图像的灰度范围被压缩成一个窄带。这种情况下，直方图拉伸和偏振复原的适当组合可以提高两个正交偏振图像的可见性。为了保持图像的偏振关系，只需要通过执行直方图拉伸方法来处理正交图像中的一个，然后通过DOP 的相关性来处理另一个，可得：


用传统的偏振恢复方法去估计的原理在后续文章中会给出。

基于引导滤波去噪：

水中微粒导致的不均匀噪声会影响光学成像效果，造成图像的边缘信息模糊以及目标和背景灰度分布不均匀，则本文应用引导滤波进行水下去噪。引导滤波是一种边缘保持平滑滤波器，即得到如下表达式：

引导滤波是何凯明等人在2010年提出的一种滤波方法，除了可以用于图像平滑，还可以用于HDR压缩、细节增强、图像去雾、联合上采样等图像处理任务。
引导滤波的思想用一张引导图像产生权重，从而对输入图像进行处理。

其中 q、I、p分表表示输出图像、引导图像和输入图像，i、j分别表示图像中像素点的索引。 ( a_k ， b_k) 是局部窗口 w_k的的线性系数，在每个窗口中是常数。公式变为：

这个模型可以保证输出图像 q 受到引导图像 I的约束，因为 ▽ q = a ▽ I，即当引导图像在局部有梯度变化时，输出图像对应地也会有梯度变化。要求解a<sub>，/sub> ， bk就需要将输入 p与输出 q的差异最小，那么窗口wk的代价函数为：

为了防止除 0，加入一个控制变量 ​。然后求解。</sub>

算法的流程可以描述为：具体可以参考：https://blog.csdn.net/leonardohaig/article/details/118254849

当输入图像作为自身的引导图时，很显然，当 ϵ = 0 、a = 1 、b = 0，输入输出之间不存在变化。而当 ϵ > 0 时，考虑两种极端情况，第一种是引导图像完整平整，即在窗口内I为固定常数，那么a = 0 b = p k ˉ ，此时模型退化成为均值滤波。第二种情况是引导图像极其不平整，即在窗口内I的标准差接近无穷大，那么 a ≈ 1 、b ≈ 0 那么输出与输入几乎无变化。而图像的平整与否由方差评价，方差的大小由参数 ϵ 评判，当 ϵ 越大，引导图中被判定为“平整”区域的越多，输出图像约平滑，反之输出图像的平滑效果越差。

如下图所示，引导滤波结构图。

基于PSF 函数的去模糊

h_psf （x,y）表示在水中浑浊介质中多重散射引起的模糊效应。该文使用基于广义高斯分布的功率谱密度函数PSF，将反卷积应用于L_h (x ,y) 中进行去模糊处理，由公式可以表示为：

其中I_Denoise为上述经过引导滤波得到的最终去噪声的图像。对进行滤波其实就是对I(x,y)进行引导滤波。
随即只需要知道h_psf （x,y）函数就可以对L_h (x ,y) 进行反卷积，求得最终的L(x ,y) 。其中h_psf （x,y）函数公式如下：

Part2-水下显著目标快速检测

该部分是由以下几个部分组成，其中水下显著目标初步定位是为了得到显著目标初步定位。然后分割利用超像素分割与初步的显著目标得到超像素显著与超像素非显著。利用k-means算法对分割的超像素与超像素显著与超像素非显著区域进一步进行精细划分。最终的结果与复原的偏振图像输入到网络模型中进行训练。

水下显著目标初步定位

该部分目的是为了得到初步的显著性图像。利用一种图像边界连通性的方法生成显著图来提高显著目标检测的速度，并且具有更好的抗噪性能和去模糊能力。对于复原后的图像I中各个像素和背景种子像素集合S的距离图M ，对于每个像素点t有：
Z为路径代价函数，偏振复原后图像 I 的一条路径< Π(0),…,Π(k) >是一系列相邻的像素序列。找到每个像素点t到背景种子像素集合S的距离的最小值，

算法的流程为:
Step1 ： 给定图像I 和种子集S ， 初始化距离图M ， 令M(x) = 0,deta-x∈S ；
Step2：设置路径代价函数；
Step2：迭代光栅扫描 、反光栅扫描依次扫描每个像素；
Step4：当路径分配改变时，相应地更新辅助图H 和L ；
Step5：将图像边界的像素设置为种子点，使用上述的步骤计算图像上三个通道的MBD 图，再将所有通道的MBD 图相加构成初步的显著图。

背景和前景超像素的识别

该部分首先使用超像素分割算法将基于偏振复原后的图像分割成N 个超像素。然后将分割成的超像素与水下显著目标初步定位相结合可以得到显著性超像素和不显著超像素性的预分割。同时从超像素分割图像中提取合适大小的面片，得到超像素的局部特征描述符OTC 特征，用于提取水下图像特征信息。
接着对OTC特征和得到的显著性超像素和不显著超像素性的预分割进行处理，OTC特征可以进一步指导显著性区域和非显著性区域的划分。两者可以解决显著性超像素和不显著超像素性的预分割所带来的将部分显著超像素划分为背景超像素和不显著超像素划分为前景超像素的情况，使用自适应模糊动态K 均值算法将被分类为前景超像素的OTC 特征进行聚类分析，调整聚类，直到各个聚类中心的适应度函数达到平衡。主要包括的步骤如下

1 分割超像素
使用超像素分割算法将基于偏振复原后的图像分割成N 个超像素，其中每个超像素包含了不同的纹理信息和颜色信息，且有助于去除不相关的细节信息。
2 得到OTC特征
从超像素图像中提取合适大小的面片，得到超像素的局部特征描述符OTC 特征。局部特征描述符QTC 特征可以沿着多个方向获取面片的纹理，同时对于光照变化、几何失真和局部对比度的差异具有较好的鲁棒性，有利于水下图像的信息提取。
3 识别超像素显著区域和超像素非显著区域
超像素和显著目标（该显著目标是由复原的偏振图像得到）的提取，可以得到显著性超像素和不显著超像素性的预分割。显著性超像素和不显著超像素性的预分割其实是对每个超像素获取显著图中的中间像素值，如果该中间像素值大于阈值T ，则该超像素被分类为显著超像素，否则归类为不显著超像素。将显著超像素表示为前景超像素，将不显著超像素表示为背景超像素。

4 精细划分超像素显著区域
使用K-means clustering方法，其基本思想是定义一个适应度函数作为聚类中心的指标，直到各个聚类中心的适应度函数达到平衡。它是根据欧几里得距离求得的。

其中就是求得聚类中心和属于该聚类中心的所有像素点之间的距离。公式如下：

其实就是将显著性区域画得更精细点。这里举个论文中的例子进行说明，对于最初被分类为前景的超像素，计算该超像素和背景超像素OTC 特征的聚类中心之间的欧几里德距离f(c_j) ，如果f(c_j)大于阈值T ，则该超像素被分类为前景超像素。重复上述的过程，以得到更加精确的前景超像素。基于上述的信息，对显著图进行修改，使得只有前景的超像素区域具有显著性，最后得到目标的显著区域。

基于显著区域自补偿的DeepLapv3+网络模型

将上述所得目标的显著区域作为网络模型的显著区域补偿与偏振复原后的图像沿输入的通道进行级联，作为深度学习网络的输入。其网络模型结构如图所示：

模型是在DeepLabv3 模型基础上通过编码和解码架构进行改进，得到DeepLabv3+结构模型。改变的地方为：
DeepLabv3+采用将带空洞卷积块并连在一起，作为编码部分，编码结构的ASPP 模块连接在其后。同时应用了深度可分离结构的Xception 卷积的加深结构改进，在解码器模块也同样应用到，改进后的Xception结构模型如上图所示。
网络结构：
编码器输出的特征经过4 倍双线性插值上采样得到的特征层和对应的经过卷积来降通道得到的特征层进行拼接。之后通过卷积对特征进行细化。最后通过一个4 倍的双线性插值上采样来得到最后的输出。
优点：
DeepLabv3+特别注重目标边缘的分割，优化细分结果，可以通过对空洞卷积的大小选组从而确定要提取的编码部分输出特征分辨率的大小。这种编码和解码的架构模型与Deeplabv3 相比，具有更优秀的性能和更精细的分割效果。

实验部分

进行了真实的水下成像场景实验，水下偏振成像装置示意图如图所示。

采用可调节波长的水下潜水灯作为主动照明光源，为了模拟出接近实际的有悬浮颗粒的水下环境，向水中倒入牛奶。将实验对象浸入水中，通过摄像机获得
线偏振方向分别为0° 、 45°、90°和135°的四张图片 I^0°(x ,y) 、I^45°(x ,y) 、I^90°(x ,y) 和 I^135°(x ,y) 去计算B（x,y）等变量，进而得到精细的显著图。将显著图和偏振复原的图像输入到深度学习网络DeepLabv3+中，其中DeepLabv3+网络模型是使用迁移学习的方法训练网络模型的参数的。该文采用的主干网络为ResNet-101，预训练的权重从Pytorch 下载。

疑惑点：
1 在该论文中，我引导滤波的输入为什么，引导图像为什么?

技术名词解释

提示：这里可以添加技术名词解释

例如：

• Bert
• GPT 初代
• GPT-2
• GPT-3
• ChatGPT

技术细节

提示：这里可以添加技术细节

例如：

• API
• 支持模型类型

小结

提示：这里可以添加总结

例如：

提供先进的推理，复杂的指令，更多的创造力。