- 论文想要解决什么问题(动机motivation)
图像处理、计算机图形学和计算机视觉中的许多问题都可以被视为将输入图像“翻译”成相应的输出图像。 “翻译”常用于语言之间的翻译,比如中文和英文的之间的翻译。但图像翻译的意思是图像与图像之间以不同形式的转换。比如:一个图像场景可以以RGB图像、梯度场、边缘映射、语义标签映射等形式呈现,其效果如下图。传统图像转换过程中都是针对具体问题采用特定算法去解决;而这些过程的本质都是根据像素点(输入信息)对像素点做出预测(predict from pixels to pixels),Pix2pix的目标就是建立一个通用的架构去解决以上所有的图像翻译问题,使得我们不必要为每个功能都重新设计一个损失函数。 - 解决思路和方案是什么
Pix2pix框架不同之处在于没有特定应用(在此之前,许多研究者使用 GAN 在修复、未来状态预测、用户约束引导的图像处理、风格迁移和超分辨率方面取得了令人瞩目的成果,但每种方法都是针对特定应用而定制的)。它在生成器和判别器的几种架构选择中也与先前的工作不同。对于生成器,使用基于“U-Net”的架构;Unet的好处在于,输入和输出图像的外表面(surface appearance)应该不同而潜在的结构(underlying structure)应该相似,对于image translation的任务来说,输入和输出应该共享一些底层的信息,因此使用Unet这种跳层连接(skip connection)的方法,这里说的跳层连接是n层直接与n+i层相加。
对于鉴别器&
论文总结:Image-to-Image Translation with Conditional Adversarial Networks
于 2020-12-04 15:25:12 首次发布
论文想要解决什么问题(动机motivation)图像处理、计算机图形学和计算机视觉中的许多问题都可以被视为将输入图像“翻译”成相应的输出图像。 “翻译”常用于语言之间的翻译,比如中文和英文的之间的翻译。但图像翻译的意思是图像与图像之间以不同形式的转换。比如:一个图像场景可以以RGB图像、梯度场、边缘映射、语义标签映射等形式呈现,其效果如下图。传统图像转换过程中都是针对具体问题采用特定算法去解决;而这些过程的本质都是根据像素点(输入信息)对像素点做出预测(predict from pixels to pi.
摘要由CSDN通过智能技术生成