多偏振融合生成对抗网络的简要总结

文献概述目录

1. 用于水下清晰成像的多偏振融合生成对抗网络-大连海事大学

---

---

前言

对文献Multi-polarization fusion generative adversarial networks for clear underwater imaging进行简要总结
中文名称：用于水下清晰成像的多偏振融合生成对抗网络（自己瞎翻译的）

文献原文: 链接

---

一、物理模型

实验示意图如下：

经典的图像复原物理模型可表示如下：
$$\begin{array}{rl}I(x,y)& =D(x,y)+B(x,y)\\ & =L(x,y)\cdot t(x,y)+B_{\infty }\cdot (1-t(x,y))\end{array}$$
其中 $I(x,y)$ 是相机拍摄到的总光强，它由两部分构成：目标物体的反射光 $D(x,y)$ ，背景散射光 $B(x,y)$ 。$L(x,y)$表示未经过散射粒子衰减的物体反射光，$B_{\infty }$ 表示无穷远处的背景散射光强，$t(x,y)$表示散射介质的透过率，$(x,y)$表示一幅图像中像素点的坐标值。

因此，未经过散射粒子衰减的物体反射光$L(x,y)$，即我们想要复原的清晰图像光强可以表示为：
$$L(x,y)=\frac{I(x,y)-B(x,y)}{1-B(x,y)/B_{\infty }}$$
目前利用物理模型进行复原的方法，即水下散射环境中基于偏振去雾的物理模型，大部分是在此模型的基础上加以改进，此模型最早是由以色列的 Yoav Y. Schechner 等人在 2005 年提出的。

二、网络结构

1.生成器

网络结构如下：

该生成网络有3个输入，分别是偏振方向为0°、45°、90°的偏振图像。紫色模块的是普通的卷积层，蓝色的CBR模块由3部分组成Conv-BN-ReLU（卷积层、BN正则化、ReLU非线性激活），橙色的Concat模块用于将输入的3个张量进行拼接，一般情况下是在channel维度进行拼接，，黄色的DBR模块也由3部分组成DeConv-BN-ReLU（反卷积层、BN正则化、ReLU非线性激活），最后的绿色模块是单独的反卷积层。

作者画的网络结构很清晰，CBR模块作者配置了7个，DBR模块也配了7个，不过作者的网络结构图稍稍有一点问题，CBR与DBR快一样多时，$F_{}^2$的三个输出作为橙色拼接块的输入，拼接后的输出应该作为$D_{}^2$的输入，作者却将它作为了$D_{}^{d-1}$的输入，所以我猜测，作者应该是在绿色模块的右侧少画了一个$D_{}^2$。但是这不重要，不影响对网络结构的理解。

2.判别器

判别器的网络结构

这个判别器结构与SRGAN、CycleGAN中使用的判别相同。与传统GAN网络的判别器相比，该网络输出的不是一个值，而是一个通道为1特征图，形如$(b,1,w,h)$， 对应的标签是与该输出维度相同的张量，真标签的值全为1，假标签的值全为0。

3.损失函数

作者使用了如下损失函数
$$\begin{array}{rl}\mathcal{L}=& {\mathcal{L}}_{adv}+\lambda {\mathcal{L}}_{pix}\\ =& {\mathbb{E}}_{y\sim p_{\text{data }}(y)}[\log D(y)]+{\mathbb{E}}_{x\sim p_{\text{data }}(x)}[\log (1-D(G(x)))]\\ & +\lambda \Vert G(x)-y{\Vert }_1\end{array}$$
其中${\mathcal{L}}_{adv}$表示对抗损失，$\lambda {\mathcal{L}}_{pix}$表示像素损失，$\lambda$取100，像素损失对 图像复原任务的影响最大，所以像素损失所占的权重较高。

---

总结

在我看来，这篇文章创新点有下面几点：

• 生成网络结构新颖，结构简单，仅使用卷积、BN、Concat、反卷积等基础网络结构
• 数据集是在真实的自然水体中拍摄，符合实际使用中的需求