Pix2Pix是基于条件生成对抗网络实现的一种深度学习图像转换模型,该模型可以实现语义/标签到真实图片,灰度图到彩色图,航空图到地图,白天到黑夜,线稿图到实物图的转换。Pix2Pix是将cGAN应用于有监督的图像到图像翻译的经典之作,其包括两个模型——生成器和判别器。
cGAN的生成器与传统GAN得生成器在原理上有一些区别,cGAN的生成器是将输入图片作为指导信息,由输出图像不断尝试深沉用于迷惑判别器的假图像。由输入图像转换输出为相应假图像的本质,是从像素到另一个像素的映射。而传统GAN的生成器是基于一个给定的随机噪声生成图像,输出图像通过其他约束条件控制生成,这就是cGAN和GAN的在图像翻译任务中的差异。
这里我们将使用指定数据集,该数据集是已经经过处理的外墙数据,可以用mindspore.dateset的方法读取。