IJCV 2025 | 基于语义协同学习的水下感知级增强

IJCV 2025 | 基于语义协同学习的水下感知级增强

题目: HUPE: Heuristic Underwater Perceptual Enhancement with Semantic Collaborative Learning

作者: Zengxi Zhang, Zhiying Jiang, Long Ma, Jinyuan Liu, Xin Fan, and Risheng Liu

源码: https://github.com/ZengxiZhang/HUPE

---

🔑 1. 论文创新点

1. 提出了信息保持的归一化网络: 我们将其引入水下图像增强任务，实现了退化图像与清晰图像之间的可逆映射，确保增强过程无损关键场景信息。
2. 将启发式先验嵌入数据驱动网络: 通过将启发式先验知识嵌入数据驱动映射过程，增强框架的可解释性，显著提升方法在复杂真实水下场景中的鲁棒性。
3. 为后续感知应用设计语义协作学习模块: 提出特征级语义协作学习机制，在生成视觉友好的增强图像同时，协同提取高层语义信息，为下游感知任务提供可靠支持。

---

🌍 2. 摘要

水下图像常因光线折射与吸收导致能见度下降，影响后续应用。现有水下图像增强方法多聚焦于视觉质量提升，却忽视实际应用需求。为平衡视觉质量与应用适配性，我们提出一种启发式可逆水下感知增强网络（HUPE），该网络在提升视觉质量的同时，展现出处理下游任务的高度灵活性。具体而言，我们设计了嵌入傅里叶变换的信息保持可逆映射机制，建立水下图像与清晰图像间的双向转换关系，并通过引入启发式先验优化增强过程以更精准捕捉场景信息。为进一步弥合视觉增强图像与应用导向图像间的特征鸿沟，我们在视觉增强任务与下游任务的联合优化中采用语义协作学习模块，引导增强模型在生成高视觉质量图像的同时提取更具任务导向性的语义特征。大量定性与定量实验表明，HUPE在恢复精度与任务适配性上均显著优于现有前沿方法。

---

🛠 3. 方法

传统基于学习的增强网络往往在增强过程中丢失了关键细节以及语义结构，进而影响后续感知任务的准确性与可靠性。为解决这一问题，我们首次提出启发式可逆网络（HIN），通过构建水下图像与清晰图像间的可逆转换，确保增强过程中的信息完整性。该网络嵌入频率感知仿射耦合模块，同步刻画水下图像与清晰图像在频域和空间域的内在关联。针对数据驱动网络常忽视水下场景物理特性、导致复杂环境适应性不足的缺陷，我们进一步将物理模型相关的深度与梯度信息编码为启发式先验融入可逆网络，从而在降低对大规模训练数据依赖的同时，显著提升增强网络在多样化水下环境中的鲁棒性。

此外，当前水下增强方法通常仅关注视觉质量提升，却忽视感知特征的保留与强化。一个值得思考的问题是：能否缩小视觉增强任务与下游应用间的特征空间差异？为此，我们引入语义协作学习模块（SCL），通过增强网络与感知网络间的元特征嵌入，使提出的HUPE能够隐式挖掘图像深层语义信息，从而提升增强图像对下游感知任务的适配性。下文将详细阐述该模块的结构设计与训练策略。

3.1 混合可逆块

上图展示了HUPE的工作流程。混合可逆块（HIB）是启发式可逆网络的核心组件，负责实现水下图像与清晰图像间的可逆转换，同时将启发式先验信息嵌入网络以增强其增强鲁棒性。正向过程中，水下图像通过由多个可逆块组成的网络转换为增强图像；反向过程中，清晰图像则通过可逆网络的逆操作重建退化图像。
HIB包含以下子模块：

Actnorm：使用逐通道的尺度与偏置参数进行仿射变换，初始基于首批数据归一化为零均值、单位方差。

可逆1×1卷积：作为通道排列操作的扩展，通过1×1卷积核改变输入通道数（保留空间维度），实现跨特征通道的线性组合。

启发式先验注入器：基于简化水下成像模型，通过物理成像参数指导网络学习水下场景特征。该物理成像模型可表述为：
J c ( x ) = 1 t ( x ) I c ( x ) + 1 t ( x ) B c ( t ( x ) − 1 ) , c ∈ { r , g , b } , J^c(x) = \frac{1}{t(x)}I^c(x) + \frac{1}{t(x)}B^c(t(x)-1), c \in\{r, g, b\}, Jc(x)=t(x)1​Ic(x)+t(x)1​Bc(t(x)−1),c∈{r,g,b},
其中，$J$表示位置 $x$处的增强图像，$I$表示传感器捕获的水下图像。$c$代表红、绿、蓝三色通道的颜色空间。𝐵表示环境光，𝑡代表介质传输系数，根据比尔-朗伯定律（Beer-Lambert Law），其可以表示为$t(x)=e^{\beta d(x)}$，其中$\beta$为衰减系数，$d(x)$为场景深度。

考虑到梯度图通过估计小杂质对光散射的影响，帮助修正水下光散射引起的图像模糊。此外，深度图提供了估计水下大气光和光衰减的关键信息。我们之前通过暗通道先验的推广来估计梯度图$I_g$和深度图$I_d$作为启发式信息。随后，我们将它们与退化图像$I_u$进行拼接，并将其输入到启发式先验引导的编码器中，该编码器通过对退化图像的颜色、梯度和深度信息进行编码，逐步估计水下成像参数。编码过程可以表示为：
$$B_i,T_i=\mathcal{S}\left({\mathcal{H}}_i\left(\mathcal{C}\left(I_u,I_g,I_d\right)\right)\right),$$
其中，$\mathcal{H}$ 表示启发式先验引导的编码器。$\mathcal{C}$ 和 $\mathcal{S}$ 分别表示通道级拼接和拆分操作。$T$ 是 $t$ 的倒数，来自比尔-朗伯定律。在估计了 $T$ 和 $B$ 后，我们将它们作为启发式信息插入到HIB中。
将启发式先验嵌入到可逆网络后，所提出的方法能够更好地表征水下领域和空气领域之间的内在关系，并具有更强的泛化能力。

频率感知仿射耦合（FAAC）：该方法旨在增强从输入到输出的单个流步骤的变换能力。具体操作将在第~\ref{FAAC}节中描述。

Unsqueeze/Squeeze：它可以实现可逆的特征扩展和压缩。Unsqueeze 设计用于将图像从 $4c\times \frac{h}{2}\times \frac{w}{2}$ 转换为 $c\times h\times w$。Squeeze 是 Unsqueeze 的反向操作。 在前向过程中，我们首先将输入图像从 $c\times h\times w$ 转换为 $2^{N}c\times \frac{h}{2^N}\times \frac{w}{2^N}$，其中 $N$ 表示混合可逆块（Hybrid Invertible Block, HIB）的数量，然后通过 HIBs 将其逐渐转换回 $c\times h\times w$。反向过程是前向过程的相反操作。通过这些操作的集成，所提出的启发式可逆网络（HIN）可以实现水下图像与清晰图像之间的精确映射。

3.2 频率感知仿射耦合

仿射耦合层被用来在转换过程中进一步表达信息。与之前的仿射耦合层~\citep{li2021dehazeflow}不同，后者对频域信息的探索有限，我们应用傅里叶变换$\mathcal{F}$ 将输入从空间域转换为幅度和相位。其公式可以表示为：

$${\mathbf{u}}_{i+1}^1={\mathbf{u}}_i^1,$$
$${\mathbf{u}}_{i+1}^2={\varphi }_i\left({\mathbf{u}}_i^1,\mathcal{F}\right)\odot {\mathbf{u}}_i^2+{\varphi }_i\left({\mathbf{u}}_i^1,\mathcal{F}\right),$$

其中，$\mathbf{u}i+1=\mathcal{C}(\mathbf{u}{i+1}^1,{\mathbf{u}}_{i+1}^2)$，其中 $\mathcal{C}$ 表示特征的拼接。$i\in 1,...,n-1$，表示流步骤的索引。
傅里叶变换 $\mathcal{F}$ 可以表示如下：

$$\mathcal{F}\left(\mathbf{x}\right)(i,j)=\sum _{h=0}^{H-1}\sum _{w=0}^{W-1}\mathbf{x}(h,w)e^{-k2\pi \left(\frac{h}{H}i+\frac{w}{W}j\right)}.$$
频域 $\mathcal{F}(x)=\mathcal{R}(x)+k\mathcal{I}(x)$，其中 $\mathcal{I}$ 和 $\mathcal{R}$ 分别表示虚部和实部。${\varphi }_i$ 表示空间-频率仿射块（SFA）。空间-频率仿射块的工作流程如上图所示，包含空间域和频域。我们首先通过残差块处理空间域信息，然后通过快速傅里叶变换~\citep{brigham1967fast}（FFT）从输入 $\mathbf{x}$ 中获取相位谱 $\mathcal{P}(\mathbf{x})$ 和幅度谱 $\mathcal{A}(\mathbf{x})$，其过程可以描述为：

$$\mathcal{A}\left(\mathbf{x}\right)(i,j)=\sqrt{{\mathcal{R}}^2\left(\mathbf{x}\right)(i,j)+{\mathcal{I}}^2\left(\mathbf{x}\right)(i,j)},$$
$$\mathcal{P}\left(\mathbf{x}\right)(i,j)=\arctan \left[\frac{\mathcal{I}\left(\mathbf{x}\right)(i,j)}{\mathcal{R}\left(\mathbf{x}\right)(i,j)}\right],$$

根据傅里叶理论~\citep{xu2021fourier}，相位分量 $\mathcal{P}$ 传递图像的语义信息，而幅度分量 $\mathcal{A}$ 显示频域中的风格信息。
为了使网络能够自适应地分别学习相位特征和幅度特征，我们将获得的两个谱输入到卷积层，并与另一个原始谱进行反向映射，转换回空间域。最后，我们将空间域的特征与三个卷积层结合，以获得输出特征。

3.3 语义协同感知学习

所提出的学习模块如上图所示，包括所提出的增强网络、任务感知模块（TPM）和特征协同模块（FCM）。FCM 包括元特征生成器（MFG）和特征变换块（FTB）。MFG 根据增强网络提取语义特征的能力，从任务感知特征$F_i^T$和增强特征$F_i^E$中生成元特征$F_i^{MFG}$。其公式可以表示为$F_i^{MFG}=MFG\left(F_i^T,F_i^E\right)$，其中$i$是中间特征的索引。FTB通过特征桥接$F_i^{FTB}$将元特征$F_i^{MFG}$转换为增强特征$F_i^E$。

具体来说，语义协同学习分为内部更新阶段和外部更新阶段。值得注意的是，在 FCM 的优化策略之前，增强网络和任务感知模块分别通过增强损失${\mathcal{L}}_{\mathrm{e}}$
和任务损失${\mathcal{L}}_{\mathrm{t}}$进行了预训练。在内部更新阶段，我们首先通过引导损失${\mathcal{L}}_{\mathrm{g}}$
​单独优化预训练的启发式可逆网络（HIN）。然后，我们使用初步优化的 HIN 计算增强损失${\mathcal{L}}_{\mathrm{e}}$​以更新 MFG 和 FTB 的参数。这里，${\mathcal{L}}_{\mathrm{e}}$可以衡量使用元特征引导 HIN 的效果。通过联合优化 FTB 和 MFG，元特征对增强网络的引导效果得到增强。在外部更新阶段，我们进一步通过${\mathcal{L}}_{\mathrm{g}}$和${\mathcal{L}}_{\mathrm{e}}$优化增强网络。
通过内部和外部阶段的交替优化，增强网络能够在生成视觉上令人满意的图像的同时，提取更多的语义特征，使其更适合后续的感知任务。

3.3 损失函数设计

在训练过程中使用了引导损失${\mathcal{L}}_{\mathrm{g}}$、增强损失${\mathcal{L}}_{\mathrm{e}}$和任务损失约束${\mathcal{L}}_{\mathrm{t}}$。引导损失${\mathcal{L}}_{\mathrm{g}}$计算$F^{\mathrm{MFG}}$和$F^{\mathrm{FTB}}$的L2距离，这使得通过感知特征引导的增强网络能够更好地适应后续的感知任务。

我们根据过去的经验在${\mathcal{L}}_{\mathrm{e}}$中应用了多种损失函数，以使增强图像更加接近空气图像。首先，在增强过程中加入了对比学习作为保真度项，以激励模型学习判别特征，最终提高其提取语义信息的能力。我们使用退化的水下捕获图像作为负样本，使用从地面场景分布中采样的增强参考图像作为正样本。对比损失函数${\mathcal{L}}_{\mathrm{c}}$可以表示为：
$${\mathcal{L}}_{\mathrm{c}}=\sum _{i=1}^N{\rho }_i\cdot \frac{{\Vert {\mathcal{V}\mathcal{GG}}_i(I_r)-{\mathcal{V}\mathcal{GG}}_i\left(G_E(I_u)\right)\Vert }_1}{{\Vert {\mathcal{V}\mathcal{GG}}_i(I_u)-{\mathcal{V}\mathcal{GG}}_i\left(G_E(I_u)\right)\Vert }_1},$$

其中，$G_E$表示所提可逆网络的正向过程，$I_r$与$I_u$分别代表参考图像与水下图像。我们采用预训练的VGG19模型提取图像特征， i ∈ { 1 , 3 , 5 , 9 , 13 } i \in \{ 1, 3, 5, 9, 13\} i∈{1,3,5,9,13}表示 VGG19 的第 i 层， ρ i ∈ { 1 32 , 1 16 , 1 8 , 1 4 , 1 } \rho_i \in \{\frac{1}{32}, \frac{1}{16}, \frac{1}{8}, \frac{1}{4}, 1\} ρi​∈{321​,161​,81​,41​,1} 为其对应层权重系数。

此外，我们引入频率损失${\mathcal{L}}_{\mathrm{f}}$ ，通过傅里叶变换$\mathcal{F}$约束增强图像的频域分布逼近参考图像。其表达式为：
$${\mathcal{L}}_{\mathrm{f}}={\Vert \left(\mathcal{F}\left(G_E(I_u)\right)\right)-\left(\mathcal{F}\left(I_r\right)\right)\Vert }_1.$$

在实际应用中，对反向过程施加约束可以确保水下图像增强的可逆性，从而提高后续感知任务的可靠性。L1 范数作为双向约束，用于将所提网络的正向和反向输出与参考图像和水下图像更接近。双向损失${\mathcal{L}}_{\mathrm{b}}$表示为：

$${\mathcal{L}}_{\mathrm{b}}={\Vert G_E(I_u)-I_r\Vert }_2+{\Vert G_E^{-1}(I_r)-I_u\Vert }_2.$$

因此，最终的${\mathcal{L}}_{\mathrm{e}}$可以表示为：
$${\mathcal{L}}_{\mathrm{e}}={\lambda }_1{\mathcal{L}}_{\mathrm{c}}+{\lambda }_2{\mathcal{L}}_{\mathrm{f}}+{\lambda }_3{\mathcal{L}}_{\mathrm{b}}.$$

任务损失${\mathcal{L}}_{\mathrm{t}}$旨在通过对特定感知任务的约束来提高任务特定网络的性能。在本研究中，我们分别对水下物体检测任务和语义分割任务施加了相应的约束。对于检测任务，引入的任务依赖损失 ${\mathcal{L}}_{\mathrm{t}}^{det}$可以表示为：

$${\mathcal{L}}_{\mathrm{t}}^{det}={\mathcal{L}}_{\mathrm{cla}}+{\mathcal{L}}_{\mathrm{loc}},$$

其中，${\mathcal{L}}_{\mathrm{loc}}$ 表示定位损失，用于减少真实标签与预测标签之间的差异。$\mathcal{L}\text{cla}$ 表示分类损失，旨在最小化真实框和预测框之间的位置差异。在本研究中，采用了焦点损失和GIoU损失，分别作为分类损失和定位损失。至于分割任务，和之前的工作一致，${\mathcal{L}}_{\mathrm{t}}^{seg}$ 被定义为：

$${\mathcal{L}}_{\mathrm{t}}^{seg}=-\sum _{\text{class }}{\mathbf{s}}^{\ast }\log (\mathbf{s})$$

其中${\mathbf{s}}^{\ast }$表示分割标签。

📊 4. 实验