Underwater image enhancement using adaptive standardization and normalization （利用自适应标准化和归一化网络增强水下图像）

最新推荐文章于 2025-02-27 13:50:18 发布

G-Howe

最新推荐文章于 2025-02-27 13:50:18 发布

阅读量1.2k

点赞数 28

文章标签：水下图像增强计算机视觉

本文链接：https://blog.csdn.net/jk211766/article/details/136796612

版权

摘要：

本文利用自适应标准化网络和归一化网络提出了一种基于机器学习的水下图像增强方案。自适应标准化网络旨在匹配输入特征的分布。这有助于纠正水下图像的扭曲分布，并方便训练。拟议的自适应归一化网络是利用两个挤压-激发块和传统的特征归一化方法构建的。它旨在增加对比度、消除朦胧效果和恢复亮度。通过对这两个网络的适当配置，水下图像增强的性能得到了改善。提议议的网络结构简单，因此所需的参数较少。仿真结果验证了所提出的水下图像增强方案优于其他最先进的方法。所提出的方法在改善水下图像的主观和客观方面都表现出了卓越的性能。
代码见： https://github.com/cwoop92

贡献：

1）传统的批量归一化（BN）通常用于通过对输入特征进行重新定位和缩放，使训练更快、更稳定。它被视为线性化特征标准化。在所提出的方法中，ASNet (自适应标准化网络) 由 BN 前的卷积层和 BN 后的 sigmoid 激活函数组成。ASNet 负责匹配颜色通道的直方图。
2）ANNet (自适应归一化网络) 的设计使用了两个改进的挤压激励（SE）块，如一个具有最大池化（MaSE）的 SE 块和一个具有最小池化（MiSE）的 SE 块，以构建自适应归一化。对于给定的输入特征，可获得与特征特性相适应的百分位数最大值和最小值。ANNet 可以调整图像的亮度并增强其对比度。
3)所提出的 UIE 网络主要由两个 ANNets 之间的连续 ASNets 和最后阶段的卷积层组成。所提出的方法将两种传统的特征分布修改方法整合到可训练的机器学习模块中，创建了一个简单而有效的 UIE 网络。

网络结构：

UIE 网络由 K+1 个 ASNets、两个 ANNets 和一个单独的卷积层组成。图 2 中，线条旁的数字表示特征图中的通道数。将 ASNets 和 ANNets 组合应用于给定的水下图像 I 时，可生成增强图像 R。

对于给定的特征 X，ASNet 生成标准化特征的过程如下： $S=f_{s}(X)$ ，(1) 其中，fS() 表示自适应标准化网络的函数表示，S 是具有 C（C = 128）通道的标准化特征。ASNet 由卷积层、BN 模块和 sigmoid 激活函数组成。ASNet 的作用是重合给定特征的分布。

ANNet分别使用 MaSE 和 MiSE 块，以可训练的百分位数最大值和百分位数最小值自适应地拉伸特征分布。对于给定的特征 X，自适应归一化网络 fN() 的功能表示如下： $N=f_{N}(X)$ ，N表示归一化特征。

对于水下图像 I，我们在第一个 ANNet 之后定位 K 个连续的 ASNets，以提取足够的特征，并将特征的分布重合如下：NE 表示还原增强图像的最终特征。在最后阶段，根据卷积层和使用 NE 的 sigmoid 激活函数得到修复后的图像 R，σ() 是 sigmoid 激活函数，Conv() 表示卷积函数。卷积操作的目的是确保修复后的图像具有三个通道。

Adaptive standardization network(自适应标准化网络)

标准化技术是重合色度直方图的一种简单的传统解决方案。它使用平均值和标准偏差进行特征缩放。在本文中，提出了一种对水下图像特征进行标准化的 ASNet。

图 4 是 ASNet 的框图。由卷积层、BN 和 sigmoid 激活函数组成。对于输入特征 X = [x1，x2，...，xC′ ]（其中 c′∈[1，2，...，C′ ]）和滤波器核的学习集 V = [v1，v2，...，vC]（其中 c∈[1，2，...，C]），输出 U = [u1，u2，...，uC]如下所示：其中 * 表示卷积运算，vc 表示第 c 个卷积滤波器 U 的参数。在提议的 ASNet 中，第一个 ASNet 的输入是 C′ = 3 的水下图像，其余 ASNet 的输入维度为 C′ = C。（相当于图中的黄色快，进行卷积计算）
BN是特征标准化的线性化版本。它的首次引入是为了克服内部协变量偏移现象，这种现象会导致网络学习效果不佳。BN 允许更高的学习率和更简便的初始化。对每个 uc 进行 BN 处理，生成批量归一化特征图 bc。假设 bc(x,y) 和 uc(x,y) 分别是 bc 和 uc 在空间位置 ( x,y) 上的特征值。bc(x,y) 利用 uc 的均值（μ(uc)）和方差（Var(uc)）计算如下：（相当于图中的蓝色快，进行批归一化处理）αc 和 βc 是可调参数。最后，使用 sigmoid 激活函数获得 ASNet 的输出如下：S = [s1，s2，...，sC]，B = [b1，b2，...，bC]。由于标准化操作会产生一个无边界范围，因此使用 sigmoid 激活函数将输出范围限制在 0 和 1 之间。（相当于图中的灰色块，激活函数）
虽然 ASNet 的作用是使特征直方图重合，但它只有在特征分布为高斯分布时才有效。此外，标准化操作不会将特征限制在特定范围内。sigmoid 函数只能使极端值达到饱和。因此，ASNet 本身不足以还原图像的原始颜色并改善对比度。本文提出的 ANNet 可实现合理的色彩还原性能和对比度增强效果。

Adaptive normalization network（自适应标准化网络）

传统的特征归一化技术是利用最大值和最小值来改变特征值的范围，从而拉伸对比度。通常使用百分位数最大值和最小值，因为归一化过程在很大程度上会受到异常值的影响。给定特征 X 的归一化定义如下：maxp() 和 minp() 分别是百分位数最大值和百分位数最小值。
水下图像具有各种类型的色度分布，因此归一化技术通常效果不佳。不过，精心选择百分位数的最大值和最小值可以产生足够好的效果。应为每幅水下图像设置不同的百分位数最大值和最小值，以达到略微有效的效果。特征归一化的问题在于很难选择最佳百分位值，因为不同的特征会有不同的百分位值。根据给定数据对百分位值进行精密选择和调整，将产生显著的归一化效果。
SE 模块首次被提出来，通过明确模拟通道之间的相互依存关系，自适应地重新校准通道特征响应。它包括挤压和激励操作。挤压操作旨在利用全局平均池挤压全局空间信息。激励操作旨在全面捕捉信道相关性。激励模块依次由一个全连接（FC）层、一个 ReLU 函数、一个 FC 层和一个 sigmoid 函数组成。它将特定于输入的描述符映射到一组信道权重。SE 模块可应用于现有的流行模型，包括 Inception和 ResNet模块，赋予这些模块对通道关系更高的灵敏度。
传统的 SE 模块对卷积层提取的特征Xc采用全局平均池化处理，具体方法如下。
Zc 是挤压后的全局空间信息，Fsq() 是使用全局平均运算的挤压函数。为了利用在挤压操作过程中汇总的信息，采用了如下门控机制：z = [z1，z2，...，zC]，ω 表示权重向量，Fex() 表示激励函数，δ 指 ReLU 函数，W1 和 W2 表示两个全连接层的参数向量。
在本文中，介绍了一种分别使用最大和最小池化的两个 SE 块的 ANNet。ANNet 的作用是分别使用基于 MaSE 和 MiSE 块获得的两个权重 $\omega _{c}^{MaSE}$ 和 $\omega _{c}^{MiSE}$ 对给定的输入特征进行自适应归一化。图 6 展示了 ANNet 的框图。对于给定的输入特征 xc，在 MaSE 模块中进行的最大普查如下： $z_{c}^{max}$ 是基于全局最大值的挤压空间信息。在经过 FC 层、ReLU 函数、另一个 FC 层和 sigmoid 函数后，该模块会产生一个信道权重 $\omega _{c}^{MaSE}$ ，如下所示：。同样，利用 MiSE 模块，通过最小池化得到信道权重 $\omega _{c}^{MiSE}$ ，具体如下： $z^{_{c}^{min}}$ 的计算公式为：
计算ANNet 的输出特性如下：

总结：

本文提出了一种使用自适应标准化和归一化网络的高效 UIE 网络。利用机器学习技术，将传统的特征标准化和归一化方法体现为数据驱动网络。ASNet 利用特征提取进行数据驱动的自适应标准化，而 ANNet 则利用两个修改过的 SE 块自适应确定特征归一化的最小值和最大值。利用较低的可调参数有效配置了这两个拟议网络，并将其应用于实现 UIE。各种消融研究表明，所提议的网络在色彩校正和对比度改善方面都发挥了关键作用，这突出了它在水下图像增强方面的重要贡献。针对不同类型的水下图像，通过与 13 种类似方法的结果进行比较，对所提出方法的结果进行了评估。仿真结果证明，所提出的方案在增强效率方面优于其他最先进的方法。虽然提议的网络能有效增强水下图像，但在色彩严重失真的情况下，其直接应用就变得具有挑战性。未来的工作将侧重于探索如何应用所提出的网络来改进沙尘图像，因为沙尘图像通常表现出较强的红色和较弱的蓝色成分。