如何让渣画质图片达到逼真效果,试试GAN吧

原创 2018年04月13日 00:00:00

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1


翻译 | 梁红丽

编辑 | Just

出品 | AI科技大本营(公众号ID:rgznai100)


【AI科技大本营导读】在最终视觉呈现效果上,现有的用于极限学习图片压缩的算法似乎都不尽人意,本文作者则使用了 GAN,允许选择性地保留一些区域,同时在保持语义完整的基础上,完全合成图像的其余部分,尤其在低比特率条件下,与 BPG 相比,GAN 的方法获得了更高的 mIoU。


以下内容摘译自论文 Generative Adversarial Networks for Extreme Learned Image Compression:


本文中,我们提出一种基于生成对抗网络(Generative Adversarial Networks, GANs)的框架,该框架用于极限学习图片压缩。与已有方法相比,在比特率大幅降低的情况下得到了视觉上令人欣喜的结果。这一结果的实现,得益于学习压缩的 GAN 模型和生成器/解码器的结合。其中,生成器/解码器作用于全分辨率图像和多模态分类器集合训练。


此外,我们的方法可以完全合成解码图片中的不重要区域,如街道、树,这些标签由原始图片提取的语义标签图得到,因此该方法只需要存储保留区域和语义标签图。用户调查证实,对于低比特率而言,我们的方法要优于当前任何其它方法,相比 BPG,我们的(压缩)方法能保存原图片的 67%。



640?wx_fmt=png



▲图 1 用对抗损失目标函数训练的全局生成压缩网络得到的图片和对应的 BPG 图片。


GAN 用于极限图片压缩


全局生成压缩


我们提出的用于极限图片压缩的 GAN 可看做 GAN(有条件的)和学习压缩的结合。用编码器 E 和量化器 q,我们将图片 x 编码为压缩表示640?wx_fmt=png该表示选择性地与噪声 v 联系,v 由前变量640?wx_fmt=png得到,用来组成隐藏向量 z。解码器/生成器 G 生成图片640?wx_fmt=png,对于(无条件的)生成压缩,可以用通过640?wx_fmt=png、由鞍点目标来表示:


640?wx_fmt=png


因为上式的后两项不依赖于分类器 D,因此它们对优化无直接影响,上式可写为:


640?wx_fmt=png


选择生成压缩


对于全局生成压缩和前文所述的有条件的变体,E 和 G 自动在整幅图片上权衡保存和生成比率,无需任何引导。这里,我们考虑一种不同的设置,即指示网络哪部分应该保存、哪部分应该合成。我们将这一设置称为选择生成压缩(SC),概览见图2(b)。


640?wx_fmt=png



▲图 2 本文提出的压缩模型结构。E 为编码器,对图像 x 或 x 和语义标签图 s 编码;q 将隐藏代码 w 量化到640?wx_fmt=png;G 是生成器,生成解压的图片640?wx_fmt=png;D 为分类器,用于对抗训练。对于 SC,F从 s 中提取特征,热成像的子样本和640?wx_fmt=png相乘(pointwise)进行空间比特分配。


实验结果


640?wx_fmt=png


▲表 1  Cityscapes 的用户调查定量偏好结果(%)。和其他压缩方法生成的结果相比,调查对象对我们的 GC 方法生成的图片更加偏爱。对相近的 bpp,我们的方法明显更受青睐。平均来看,我们的方法只在比特率增大一倍时比就会比 BPG 略逊一筹。



640?wx_fmt=png

表 2  ADE20k 的用户调查定量偏好结果(%),对相近 bpp,我们的方法更受欢迎。



640?wx_fmt=png


▲表 3   Kodak 的用户调查定量偏好结果(%),bpp 为 0.065 时我们的方法比 BPG 更受欢迎,比特率下降了 45%。



640?wx_fmt=png



▲图 5  左:分别是 GC 网络在 Cityscapes 验证集上的平均 IoU(bpp 的函数)、在 G 和 D 的语义标签图(semantics)训练的平均 IoU、用 MSE 损失(MSE)训练的平均 IoU。右:SC 网络分别在 RI(instance)和 RB(box)模式下训练的平均 IoU。



640?wx_fmt=png



▲图 6  原始的 Kodak 图片 13 和用户调查中使用的解压图片,解压图片用 C=4 时的 GC 网络得到,同时显示解压的 BPG、JPEG、JPEG2000 和 WebP 格式的图片。如果一个编解码器不能产生 0.036bpp 的输出,我们就为该编解码器选择可用的最低比特率。


640?wx_fmt=jpeg


▲图 7  用 SC 网络集合不同类别,C=8。除 no synth 之外,其他图像都合成了以下类别:植被、天空、人行道、车辆、墙。左下角热成像图的合成区域以灰色显示。根据选择生成,我们显示了每张图的 bpp 和相对保存百分率。



640?wx_fmt=png



▲图 8  SC 网络生成的示例图(SC=4),左图合成了道路、植被、天空、人行道、车辆、墙,中间的图加了建筑。右图是可支持的最低 bpp 下的 BPG 图像。


640?wx_fmt=png


▲图 9  SC 网络得到的示例图(C=8),保存一个箱形区,其他区域进行合成。



640?wx_fmt=png



▲图 10  SC 网络在 C=8 时生成的 ADE20k 验证图片,左图保存随机选取的区域,用 RI 训练,右图保存箱形区域,用RB训练。


讨论


我们提出了一种学习压缩的 GAN 模型,mIoU 这些数据都表明,它在低比特率时的表现都优于现有算法。而且,我们的网络可以无间断地将保存和生成的图片内容结合,再用正则结构合成内容来生成逼真的图片。


未来前景广阔的研究方向有:为 GC 建立控制比特空间分配的机制、将 SC 和特征信息结合。此外,将上下文模型嵌入我们的方法也会很有趣,例如,调整结构使其扩展为更大的图片。


作者:Eirikur Agustsson, Michael Tschannen, Fabian Mentzer, Radu Timofte, Luc Van Cool

原文链接:

https://data.vision.ee.ethz.ch/aeirikur/extremecompression/#results

论文链接:https://arxiv.org/pdf/1804.02958.pdf


招聘

AI科技大本营现招聘AI记者和资深编译,有意者请将简历投至:gulei@csdn.net,期待你的加入


AI科技大本营读者群(计算机视觉、机器学习、深度学习、NLP、Python、AI硬件、AI+金融、AI+PM方向)正在招募中,和你志同道合的小伙伴也在这里!关注AI科技大本营微信公众号,后台回复:读者群,添加营长请务必备注姓名,研究方向。

640?wx_fmt=gif

640?wx_fmt=jpeg

640?wx_fmt=png


640?wx_fmt=png

AI科技大本营公众号ID:rgznai100640?wx_fmt=jpeg


☟☟☟点击 | 阅读原文 | 查看更多精彩内容

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/79937718

GANs学习系列(5): 生成式对抗网络Generative Adversarial Networks

【前言】      本文首先介绍生成式模型,然后着重梳理生成式模型(Generative Models)中生成对抗网络(Generative Adversarial Network)的研究与发展。作者...
  • u011534057
  • u011534057
  • 2016-10-17 18:43:53
  • 10540

论文阅读之《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》

Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network (arxiv, 21 Nov,...
  • Gavinmiaoc
  • Gavinmiaoc
  • 2018-04-10 10:57:20
  • 43

Generative Adversarial Nets论文笔记+代码解析

前面在Generative Adversarial Nets(译)一文中对2014年Ian J. Goodfellow这位大牛关于GAN的文章进行了全文的翻译,在翻译的过程中,遇到的不少的问题,也有一...
  • wspba
  • wspba
  • 2017-01-17 18:34:52
  • 6327

深度学习笔记一:生成对抗网络(Generative Adversarial Nets)

文章链接:http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf 已经有段时间没看过Deep learning的东西了,最近要...
  • zixiximm
  • zixiximm
  • 2016-11-22 13:03:15
  • 6776

ps梦幻经典笔刷初学者高手都可以的哦

  • 2009年10月19日 17:16
  • 1.24MB
  • 下载

php for mac 安装

概述 Mac系统对于PHP运行非常友好,我们只需要进行简单的配置便可以开始进行使用,本篇文章将一步一步地介绍Apache、PHP和MySQL的安装与配置,为开始进行开发铺好路 Apache...
  • yourfirst
  • yourfirst
  • 2017-03-15 13:17:55
  • 163

Generative Adversarial Nets

相比于传统的识别、分类工作,生成对抗网络以一种逆向的思维,让计算机有了一定的创造能力。这种创造在实际中有更大的意义,甚至在复杂的工作中也能取得良好的效果。首先看一下最初的Goodfellow的工作:G...
  • Yan_Joy
  • Yan_Joy
  • 2017-02-28 15:53:01
  • 702

《Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network》阅读笔记

本文提出了一种利用生成对抗网络(GAN)对低分辨率单一图像进行超分辨率(super-resolution)的网络结构,作为GAN的一种重要应用,很值得去学习研究。...
  • Aaron_wei
  • Aaron_wei
  • 2017-08-07 21:58:55
  • 2705

十个生成模型(GANs)的最佳案例和原理

生成对抗网络(GANs)是一种能“教会”计算机胜任人类工作的有趣方法。一个好的对手能让你成长更快,而GANs背后就是“从竞争中学习”的思路。 GANs最先是由蒙特利尔大学的Ian Goodfel...
  • xinbolai1993
  • xinbolai1993
  • 2017-12-02 12:23:31
  • 88

MOOC北京理工《C语言程序设计(上)》第5周第1题:锻炼身体吧

题目内容: 沫沫,灰灰和渣渣去锻炼身体,如果对他们跑步的距离分别只计整数 a、 b、 c,由于他们身高的差距,造成了 a 现在他们三个人想知道,如果渣渣的极限N已知,那么有多少种有锻炼效果的跑步方...
  • sunshineman1986
  • sunshineman1986
  • 2016-05-12 19:06:26
  • 496
收藏助手
不良信息举报
您举报文章:如何让渣画质图片达到逼真效果,试试GAN吧
举报原因:
原因补充:

(最多只允许输入30个字)