2020 IVC之GAN(image transfer):GANILLA: Generative Adversarial Networks for Image to Illustration Tran

GANILLA是一种使用生成对抗网络进行图像到插图转换的方法,旨在同时保留内容和风格。它引入了一个新的生成器网络结构,通过Res18的跳连接来保存内容信息,并使用PatchGAN作为判别器。此外,该研究还提出了一种新的定量评估框架,以解决图像到图像转换模型的评估问题。实验结果显示,GANILLA在内容和风格的平衡上优于cycleGAN和DualGAN。
摘要由CSDN通过智能技术生成

GANILLA: Generative Adversarial Networks for Image to Illustration Translation
期刊:Image and Vision Computing(Elsevier,3区)
开源:https://github.com/giddyyupp/ganilla
当前的问题及概述
1.尽管目前最先进的图像-图像转换模型可以成功地转换风格或内容,但它们不能同时转换两者。本文提出了一个新的生成器网络来解决这个问题,并表明产生的网络在风格和内容之间实现了更好的平衡。
2.目前,image to image transfer的评价标准都是基于对有限的图像进行主观的、定性的视觉比较。为了解决这个问题,我们提出了一个新的框架来定量评估图像到插图的模型,其中内容和风格被考虑到使用单独的分类器。
在这里插入图片描述
可以看到,cycleGAN的问题是并没有很好的保存内容信息,DualGAN的问题是无法迁移风格,而本文的GANILLA两者有一个很好的的兼顾。
模型及loss
在这里插入图片描述
Backbone采用Res18,将Res18的4个block的前3个输入与decoder的相应上采样尺寸sum,这种跳连接方式将low-level输入到sum层中,有助于保存content。判别器采用PatchGAN

  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值