![57ac0a366f4de5f6d53d32cadc506224.png](https://i-blog.csdnimg.cn/blog_migrate/17a0ff41d091d348dfd0fbf0f77c9611.jpeg)
生成对抗网络 – GANs 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频。我们手机里的照片处理软件中就会使用到它。
本文将详细介绍生成对抗网络 – GANs 的设计初衷、基本原理、10种典型算法和13种实际应用。
GANs的设计初衷
一句话来概括 GANs 的设计动机就是——自动化。
人工提取特征——自动提取特征
我们在《一文看懂深度学习(概念+优缺点+典型算法)》中讲过,深度学习最特别最厉害的地方就是能够自己学习特征提取。
![17ae26d8204800c4ff2aaba8e50c1e8a.png](https://i-blog.csdnimg.cn/blog_migrate/058060c98f5a4f353a838e3c844c868e.jpeg)
机器的超强算力可以解决很多人工无法解决的问题。自动化后,学习能力更强,适应性也更强。
人工判断生成结果的好坏——自动判断和优化
我们在《监督学习》中讲过,训练集需要大量的人工标注数据,这个过程是成本很高且效率很低的。而人工判断生成结果的好坏也是如此,有成本高和效率低的问题。
而 GANs 能自动完成这个过程,且不断的优化,这是一种效率非常高,且成本很低的方式。GANs是如何实现自动化的呢?下面我们讲解一下他的原理。
生成对抗网络 GANs 的基本原理
大白话版本
知乎上有一个很不错的解释,大家应该都能理解:
假设一个城市治安混乱,很快,这个城市里就会出现无数的小偷。在这些小偷中,有的可能是盗窃高手,有的可能毫无技术可言。假如这个城市开始整饬其治安,突然开展一场打击犯罪的「运动」,警察们开始恢复城市中的巡逻,很快,一批「学艺不精」的小偷就被捉住了。之所以捉住的是那些没有技术含量的小偷,是因为警察们的技术也不行了,在捉住一批低端小偷后,城市的治安水平变得怎样倒还不好说,但很明显,城市里小偷们的平均水平已经大大提高了。
![f6ba7b39d1ca3b0390a3bdc03d0cd590.png](https://i-blog.csdnimg.cn/blog_migrate/d0ba0d79b47cdba57204d87c0b787d26.jpeg)
警察们开始继续训练自己的破案技术,开始抓住那些越来越狡猾的小偷。随着这些职业惯犯们的落网,警察们也练就了特别的本事,他们能很快能从一群人中发现可疑人员,于是上前盘查,并最终逮捕嫌犯;小偷们的日子也不好过了,因为警察们的水平大大提高,如果还想以前那样表现得鬼鬼祟祟,那么很快就会被警察捉住。
![97e8f8e23c91cbf05222b8101b212e16.png](https://i-blog.csdnimg.cn/blog_migrate/27d6652c399ef7c22bcb4eca5faaa8b5.jpeg)
为了避免被捕,小偷们努力表现得不那么「可疑」,而魔高一尺、道高一丈,警察也在不断提高自己的水平,争取将小偷和无辜的普通群众区分开。随着警察和小偷之间的这种「交流」与「切磋」,小偷们都变得非常谨慎,他们有着极高的偷窃技巧,表现得跟普通群众一模一样,而警察们都练就了「火眼金睛」,一旦发现可疑人员,就能马上发现并及时控制——最终,我们同时得到了最强的小偷和最强的警察。
![1156ef835ec03a2755279e3b0476f8b8.png](https://i-blog.csdnimg.cn/blog_migrate/0863cbc9a06844a74d2408b78845c580.jpeg)
非大白话版本
生成对抗网络(GANs)由2个重要的部分构成:
- 生成器(Generator):通过机器生成数据(大部分情况下是图像),目的是“骗过”判别器
- 判别器(Discriminator):判断这张图像是真实的还是机器生成的,目的是找出生成器做的“假数据”
![7aa2b247e15401cd4c155402f37c696d.png](https://i-blog.csdnimg.cn/blog_migrate/4c6123d5289203740a6a3bcf4b5dcd2b.jpeg)
下面详细介绍一下过程:
第一阶段:固定「判别器D」,训练「生成器G」
我们使用一个还 OK 判别器,让一个「生成器G」不断生成“假数据”,然后给这个「判别器D」去判断。
一开始,「生成器G」还很弱,所以很容易被揪出来。
但是随着不断的训练,「生成器G」技能不断提升,最终骗过了「判别器D」。
到了这个时候,「判别器D」基本属于瞎猜的状态,判断是否为假数据的概率为50%。
![78e932128e676a2c5865cc563842a482.png](https://i-blog.csdnimg.cn/blog_migrate/f6cf19ed95f718305a9623cebb9c2fb1.jpeg)
第二阶段:固定「生成器G」,训练「判别器D」
当通过了第一阶段,继续训练「生成器G」就没有意义了。这个时候我们固定「生成器G」,然后开始训练「判别器D」。
「判别器D」通过不断训练,提高了自己的鉴别能力,最终他可以准确的判断出所有的假图片。
到了这个时候,「生成器G」已经无法骗过「判别器D」。
![a88ce8331044838ac7f7087716c8a422.png](https://i-blog.csdnimg.cn/blog_migrate/a606f22b9748ab1dbf188e22400aa39e.jpeg)
循环阶段一和阶段二
通过不断的循环,「生成器G」和「判别器D」的能力都越来越强。
最终我们得到了一个效果非常好的「生成器G」,我们就可以用它来生成我们想要的图片了。
下面的实际应用部分会展示很多“惊艳”的案例。
![391a72fedeb21d0d3172537c9feed05a.png](https://i-blog.csdnimg.cn/blog_migrate/efb287145ed8e2ac2cf0ec28577c3842.jpeg)
如果对 GANs 的详细技术原理感兴趣,可以看看下面2篇文章:
《生成性对抗网络(GAN)初学者指南 – 附代码》
《长文解释生成对抗网络GAN的详细原理(20分钟阅读)》
GANs的优缺点
3个优势
- 能更好建模数据分布(图像更锐利、清晰)
- 理论上,GANs 能训练任何一种生成器网络。其他的框架需要生成器网络有一些特定的函数形式,比如输出层是高斯的。
- 无需利用马尔科夫链反复采样,无需在学习过程中进行推断,没有复杂的变分下界,避开近似计算棘手的概率的难题。
2个缺陷
- 难训练,不稳定。生成器和判别器之间需要很好的同步,但是在实际训练中很容易D收敛,G发散。D/G 的训练需要精心的设计。
- 模式缺失(Mode Collapse)问题。GANs的学习过程可能出现模式缺失,生成器开始退化,总是生成同样的样本点,无法继续学习。
扩展阅读:《为什么训练生成对抗网络如此困难?》阅读这篇文章对数学要求很高
10大典型的GANs算法
GANs 算法有数百种之多,大家对于 GANs 的研究呈指数级的上涨,目前每个月都有数百篇论坛是关于对抗网络的。
下图是每个月关于 GANs 的论文发表数量:
![1ce0c025820439327691a6fd72223ea8.png](https://i-blog.csdnimg.cn/blog_migrate/e79665221faf76b54932c5d2df5aa8e4.jpeg)
如果你对 GANs 算法感兴趣,可以在 「GANs动物园」里查看几乎所有的算法。我们为大家从众多算法中挑选了10个比较有代表性的算法,技术人员可以看看他的论文和代码。
算法论文代码GAN论文地址代码地址DCGAN论文地址代码地址CGAN论文地址代码地址CycleGAN论文地址代码地址CoGAN论文地址代码地址ProGAN论文地址代码地址WGAN论文地址代码地址SAGAN论文地址代码地址BigGAN论文地址代码地址
上面内容整理自《Generative Adversarial Networks – The Story So Far》原文中对算法有一些粗略的说明,感兴趣的可以看看。
GANs 的13种实际应用
GANs 看上去不如「语音识别」「文本挖掘」那么直观。不过他的应用已经进入到我们的生活中了。下面给大家列举一些 GANs 的实际应用。
生成图像数据集
人工智能的训练是需要大量的数据集的,如果全部靠人工收集和标注,成本是很高的。GANs 可以自动的生成一些数据集,提供低成本的训练数据。
![6845b93f28334ef2e3ded1bf695f62cd.png](https://i-blog.csdnimg.cn/blog_migrate/661a9c93e6fff3881150d0e3bebb4a03.jpeg)
生成人脸照片
生成人脸照片是大家很熟悉的应用,但是生成出来的照片用来做什么是需要思考的问题。因为这种人脸照片还处于法律的边缘。
![f1ccea5d0bb6c0aa4c1ee3845de4021c.png](https://i-blog.csdnimg.cn/blog_migrate/248be5919a357ffed2252e4ef21c4378.jpeg)
生成照片、漫画人物
GANs 不但能生成人脸,还能生成其他类型的照片,甚至是漫画人物。
![66e32ec95a2c7556009c2858a547ffac.png](https://i-blog.csdnimg.cn/blog_migrate/41a93eda4f288624c88b066f8c379325.jpeg)
![6ee2e7c50318cd3f5d43cf6555a3be60.png](https://i-blog.csdnimg.cn/blog_migrate/051936fbf4311fb14c7ced2b898fd813.jpeg)
图像到图像的转换
简单说就是把一种形式的图像转换成另外一种形式的图像,就好像加滤镜一样神奇。例如:
- 把草稿转换成照片
- 把卫星照片转换为Google地图的图片
- 把照片转换成油画
- 把白天转换成黑夜
![96c39e7ac966e1de8c73cdaaa3581cdd.png](https://i-blog.csdnimg.cn/blog_migrate/80ec6d87f196ded88404dc2bfbbb23cc.jpeg)
![d6e563de524bd1af4c7c8a6c64f7072f.png](https://i-blog.csdnimg.cn/blog_migrate/ccd8fa21363c8f3efcf73c9365ab422e.jpeg)
文字到图像的转换
在2016年标题为“ StackGAN:使用 StackGAN 的文本到逼真照片的图像合成 ”的论文中,演示了使用 GAN,特别是他们的 StackGAN,从鸟类和花卉等简单对象的文本描述中生成逼真的照片。
![853717e0db15207138801965f7f2ae88.png](https://i-blog.csdnimg.cn/blog_migrate/430c9f54aa5775ea0576e0d5892680f6.jpeg)
语意 – 图像 – 照片 的转换
在2017年标题为“ 高分辨率图像合成和带条件GAN的语义操纵 ”的论文中,演示了在语义图像或草图作为输入的情况下使用条件GAN生成逼真图像。
![db6ac84968179bdecc7599dadafd7771.png](https://i-blog.csdnimg.cn/blog_migrate/cdf4bb6bc717727127aa90a8e8c16274.jpeg)
自动生成模特
在2017年标题为“ 姿势引导人形象生成 ”的论文中,可以自动生成人体模特,并且使用新的姿势。
![e59dbdc811e1baa45d5ef44d8f424f70.png](https://i-blog.csdnimg.cn/blog_migrate/d7161979fe5df29af51ce1533a7689b4.jpeg)
照片到Emojis
GANs 可以通过人脸照片自动生成对应的表情(Emojis)。
![2251962a58b3ab5ad69e678838194000.png](https://i-blog.csdnimg.cn/blog_migrate/1c9039a19f18388ca8efec5521f98755.jpeg)
照片编辑
使用GANs可以生成特定的照片,例如更换头发颜色、更改面部表情、甚至是改变性别。
![f05b4a42616572e444df363f2d72be5c.png](https://i-blog.csdnimg.cn/blog_migrate/4d620d6d48f5197860033e723b2cd28f.jpeg)
预测不同年龄的长相
给一张人脸照片, GANs 就可以帮你预测不同年龄阶段你会长成什么样。
![da4e211e87c4e2bdfaeece20b91b69a1.png](https://i-blog.csdnimg.cn/blog_migrate/aae8c4ad3acc3cd2da4f32fc7f88e93f.jpeg)
提高照片分辨率,让照片更清晰
给GANs 一张照片,他就能生成一张分辨率更高的照片,使得这个照片更加清晰。
![880e63f58cdade5e1e3822f4c94e7752.png](https://i-blog.csdnimg.cn/blog_migrate/37cd22fc9ea4159fb7a4d6e16ce43a72.jpeg)
照片修复
假如照片中有一个区域出现了问题(例如被涂上颜色或者被抹去),GANs可以修复这个区域,还原成原始的状态。
![785ab9da31d512587ab9dbbfa19aee9e.png](https://i-blog.csdnimg.cn/blog_migrate/8fae39f033a1f8480ad71e0978275ff7.jpeg)
自动生成3D模型
给出多个不同角度的2D图像,就可以生成一个3D模型。
![11f5488a9e28dfe2d736e06b59b8aec3.png](https://i-blog.csdnimg.cn/blog_migrate/e7ca36c4156a8ef1ef97e4c0821c93c1.jpeg)