DAM-GAN：基于伪纹理检测动态注意力图的图像修复

最新推荐文章于 2024-03-09 05:34:09 发布

一瞬にして失う

最新推荐文章于 2024-03-09 05:34:09 发布

阅读量833

点赞数

分类专栏：生成对抗网络文章标签：生成对抗网络机器学习深度学习计算机视觉人工智能

本文链接：https://blog.csdn.net/qq_60445109/article/details/126597751

版权

生成对抗网络专栏收录该内容

4 篇文章 0 订阅

订阅专栏

问题：基于GAN的网络用于图像修复在生成过程中合成图像中会出现静止像素伪影或颜色不一致，这通常称为假纹理。

解决方案：引入了一种基于GAN的动态注意力图模型（DAM-GAN），专注于检测假纹理和生成动态注意力图，以减少生成器中特征图的像素不一致性。

1、相关工作

a、基于示例搜索方法：将图像划分为块，以根据相似性计算（如块匹配）用其他块填充缺失区域。

b、GAN：语义编码器（CE）采用基于编码器的GAN进行图像修复，全局和局部（GL）将全局和局部生成器合并到一起来保持输出图像的像素一致性。语义注意（CA）模块使用GAN模拟传统的基于补丁的方法。

由于CE、GL、CA通常专门用于重建矩形掩模，具有自由形状掩模的图像将降低输出质量。为了解决这一局限性，最近的修复方法倾向于移除架构上的局部鉴别器。

2、方法模型

给定原始地面真值 $\widehat{x}$ ，我们应用遮挡掩模生成输入图像x。基于GAN的修复网络包含生成器G和鉴别器D。通过生成器的编码器-解码器架构中的修复过程，获得输出图像G（x）。

2.1GAN框架

生成器G的目标是通过理解输入图像x（编码）和合成输出图像G（x）（解码），用适当的内容填充缺失部分。

粗重建阶段：通过用粗纹理填充像素开始。

DAM重建：使用DAM模块来恢复具有详细内容的粗输出 $G_{c}\left ( x \right )$ 。我们通过结合残差块和卷积层来定义残差卷积层，并在生成器中间采用基于级联的跳连接和扩展卷积。

跳跃连接：在减少消失梯度问题和保持重建图像的空间信息方面具有显著效果。

扩展卷积：增加了感受野以提高计算效率。

鉴别器D用作区分真实图像和合成图像的鉴别器。G和D之间的对抗训练可以进一步提高合成图像的质量。

由于局部鉴别器在处理不规则掩码时具有关键限制，我们使用一个全局鉴别器来对抗性训练我们的模型。

2.2DAM（动态注意力图块）

a、动态注意力图（DAM）块位于生成器G的最后四个解码层中。级联特征[Ti，Si]通过1x1卷积滤波器，获得输入特征Fi。

b、与fakeness预测类似，fakeness图Mi是通过1x1卷积滤波器和来自特征Fi的S形函数生成的。然后，我们可以使用Mi作为注意力图。

c、在Mi的逐元素乘法之后⊗得到了输出特征F′i。

d、按元素求和Fi⊕ F′i成为最终输出 $T_{i-1}$ 其被上采样并传递到解码器中的上层。

3、损失函数

3.1重建损失

图像修复模型在像素空间中通过减少地面真实和合成图像之间的像素距离来训练，我们在重建过程中训练粗部和DAM部。

$\iota _{re}=\left | \widehat{x} -G_{C}\left ( x \right )\right |_{1}+\left | \widehat{x} -G\left ( x \right )\right |_{1}$

$G_{C}\left ( x \right )$ 表示粗输出, $G\left ( x \right )$ 表示最终输出。

3.2对抗损失

生成器G尝试将输入图像x重建为与真实图像 $\widehat{x}$ 类似的修复图像G（x）。否则，训练鉴别器D以尽可能区分真实图像 $\widehat{x}$ 和假图像x。D旨在最大化对抗性损失，而G则试图将其最小化。

$\iota _{adv}=E_{\widehat{x}}\left [ logD\left ( \widehat{x} \right ) \right ]+E_{x}\left [ log\left ( 1-D\left ( G\left ( x \right ) \right ) \right ) \right ]$

3.3DAM损失

在每个解码器层中，DAM块基于检测到的伪纹理的像素生成关注图。我们可以将这些伪区域视为将在图像合成过程中突出显示的像素。通过计算真实图像和修复图像之间的灰度像素差，DAM块动态地从地面真实-伪造映射中学习假预测函数。然后将所有像素除以255以在[0，1]之间对它们进行归一化。

$M_{j}^{GT}=grayscale\left ( \left | G\left ( x \right )_{j} -\widehat{x}_{j}\right | \right )/255.0$

$\iota _{DAM}^{j}=\left | M_{j} -M_{j}^{GT}\right |_{1}$

$\iota _{DAM}=\sum_{j=0}^{3}\iota _{DAM}^{j}$

3.4总体损失

$\iota _{total}=\lambda _{re}\cdot \iota _{re}+\lambda _{adv}\cdot \iota _{adv}+\lambda _{DAM}\cdot \iota _{DAM}$

超参数λre、λadv和λDAM表示每个分量的预定义权重。