cGAN : Pix2Pix
生成对抗网络还有一个有趣的应用就是,图像到图像的翻译。例如:草图到照片,黑白图像到RGB,谷歌地图到卫星视图,等等。Pix2Pix就是实现图像转换的生成对抗模型,但是Pix2Pix中的对抗网络又不同于普通的GAN,称之为cGAN,全称是:conditional GAN。
cGAN和GAN的区别:
- 传统的GAN从数据中学习从随机噪声向量zzz到真是图像yyy的映射:G(z)→yG(z)\to yG(z)→y
- 条件GAN学习的是学习从输入图像xxx和随机噪声zzz到目标图像yyy的映射:G(x,z)→yG(x, z) \to yG(x,z)→y
- 传统的GAN中判别器只根据真实或生成图像辨别真伪:D(y)D(y)D(y) | D(G(x))D(G(x))D(G(x))
- 条件GAN中判别器还加入了,观察图像xxx:D(x,y)D(x, y)D(x,y) | D(x,G(x,z))D(x, G(x, z))D(x,G(x,z))
- 在cGAN中,生成器损失中又增加了L1\mathcal L_1L1损失
cGAN的Loss
LcGAN(G,D)=Ex,y[logD(x,y)]+Ex,z[log(1−D(x,G(x,z))]\mathcal L_{cGAN}(G,D) = E_{x,y}[log D(x,y)] + E_{x,z}[log(1 - D(x, G(x, z))]LcGAN(G,D)=Ex,y[logD(x,y)]+Ex,z[log(1−D(x,G(x,z))]
LL1(G)=Ex,y,z[∣∣y−G(x,z)∣∣1]\mathcal L_{L1}(G) = E_{x, y, z}[||y - G(x, z)||_1]LL1(G)=Ex,y,z[∣∣y−G(x,z)∣∣1]
G∗=argminGmaxDLcGAN(G,D)+λLL1(G)G^* = {argmin}_{G}max_{D}\mathcal L_{cGAN}(G,D) + \lambda \mathcal L_{L1}(G)G∗=argminGmaxDLcGAN(G,D)+λLL1(G)

最低0.47元/天 解锁文章
1006

被折叠的 条评论
为什么被折叠?



