《基于生成式对抗网络的画作的图像合成方法》论文理解

《基于生成式对抗网络的画作的图像合成方法》论文阅读

近期阅读了一篇论文《基于生成式对抗网络的画作的图像合成方法》，论文来自于2020年的一篇论文，下载来源知网，写一下对这篇论文的理解。

摘要

与图像生成关系很紧密的一个概念就是风格迁移。本文就是利用风格迁移，通过深度神经网络将油画的风格特征迁移到图像上，同时保留了图像本身的内容。基于 GAN 提出一个用于画作图像合成的全新模型PainterGAN。通过对抗训练，损失函数驱动 PainerGAN 学习目标背景的明暗，色彩，纹理等风格特征，同时尽最大可能保留训练数据的语义内容不变。在训练完成后，将任意内容的前景图像输入到模型中PainterAGN 都可以将其渲染成目标的背景风格，当渲染完成的前景图像贴入背景中时，能完全融入其中，令观看者无法判断该合成图像的真假，PainterGAN 以此完成从背景到前景的局部风格迁移。

本文方法

生成器采用encoder-decoder的结构，将前景图片通过生成器转换成背景的风格，再与背景图像一起通过判别器判别其真假。

与普通GAN的区别在于生成器的结构与原始GAN生成器的区别。

把生成器的encoder替换成了训练好的VGG19模型。

引入了自注意力机制，在图像生成过程中通过建立不同像素区域的相关性，有助于促进物体的轮廓完整。一篇很容易理解的注意力机制文章：深度学习中的注意力机制

自注意力机制：注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。

我的理解：

上面是一些结果