pix2pix论文纪录

最新推荐文章于 2023-02-28 10:51:03 发布

victor_wdg

最新推荐文章于 2023-02-28 10:51:03 发布

阅读量735

点赞数 2

分类专栏： try

本文链接：https://blog.csdn.net/qq_21104157/article/details/88234124

版权

try 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

pix2pix的应用及优点

pix2pix可以用来进行图像风格转换，例如可以将白天的图像转换为晚上的图像，将素描图转换彩色照片等。其效果如下图。在这里插入图片描述当然在pix2pix之前有许多算法都可以用来进行图像风格转换。但是这些算法都有一个缺点。那就是他们是针对某一个特殊的功能来设计的。比如说如果我们想要实现把白天的图片转化成夜晚的图片的功能。我们就需要为这个功能设计一个专属于它的损失函数。当我们想要实现从素描图转换为彩色照片的功能的时候。我们又需要重新为这个功能设计一个新的损失函数。

pix2pix就提出了这样一种方法，使得我们不必要为每个功能都重新设计一个损失函数。而是为所有的风格转换都设定一个总的目标：即风格转换了之后产出的图片要和我指定图片的风格一样，之后让网络按照这个目标自己去学习损失函数。我们可以利用GAN来实现这个目标。

pix2pix所使用的方法

在这里插入图片描述
如我们想要将图像 x 转换为图像 y 的风格，我们先将成对的图像 (x ， y) 输入到对抗神经网络之中去。在该对抗网络之中。生成器G将x作为输入，产出G(x)。辨别器的目标是将成对的(x, y),标记为real，对于通过生成器G产生的(x,G(x))标记为fake。

生成器的目标之一就是产生出来的G(x)要和y的风格相同，能够骗过辨别器D。让D认为G(x)确确实实是图像y的风格。当然我们不仅仅只是要风格与y一样，我们还要求产生的G(x)和原先的x也是成对的。这就需要conditional GAN的技术，将 x也输入到辨别器D之中去。让D来辨别转换之后的 G(x)和x是否是成对的。如果不成对，还是会有很大的loss。