![6acc939e5db74b7fea7381168abd0583.png](https://i-blog.csdnimg.cn/blog_migrate/d2c57c193383d12f1bc3e5e4da553211.jpeg)
全文共 6531字,预计学习时长 13分钟
![43aff8fb2919c629a7e6665d6c333aec.png](https://i-blog.csdnimg.cn/blog_migrate/f1db489c924c979fed208bf058717e55.jpeg)
生成对抗网络(GAN)是生成模型的一种神经网络架构。
生成模型指在现存样本的基础上,使用模型来生成新案例,比如,基于现存的照片集生成一组与其相似却有细微差异的新照片。
GAN是使用两个神经网络模型训练而成的一种生成模型。其中一个称为“生成器”或“生成网络”模型,可学习生成新的可用案例。另一个称为“判别器”或“判别网络”,可学习判别生成的案例与实际案例。
两种模型(从博弈论的意义上来说)处于一种竞争状态,生成器企图愚弄判别器,而判别器则要同时处理生成案例和实际案例。
经学习,生成模型可生成所需的新案例。
生成对抗网络具有极为具体的使用案例,一开始这些案例理解起来会有些困难。
本文将回顾大量GAN的有趣应用,有助于你了解其能够解决的案例类型。以下列表或许并不完整,但其中包含了许多媒体介绍过的GAN使用案例。
应用案例可划分为以下18种类型:
1. 生成图像数据集案例
2014年,Ian Goodfellow等人发表论文《对抗式生成网络》,提出了生成新案例这一应用。文中指出,GAN可为MNIST手写数码数据集、CIFAR-10小件图片数据集、多伦多人像数据集生成新案例。
论文传送门:https://arxiv.org/abs/1406.2661
![d9719f337cefec75fd92d8e496febf7f.png](https://i-blog.csdnimg.cn/blog_migrate/d3de4be2cf3407f69cc4e51b28b2a176.jpeg)
2015年,Alec Radford等人在一篇重要论文《使用深度回旋生成对抗网络进行无监督表示学习》,也表达了类似观点。论文指出,深度回旋生成对抗网络展示了大规模培养稳定GAN的方法。论文展示了生成卧室新案例的模型。
论文传送门:https://arxiv.org/abs/1511.06434
![b57d8d7adfc4fe307e59423e195d760a.png](https://i-blog.csdnimg.cn/blog_migrate/3d58426f57f1fe770cbe730e1781bc25.jpeg)
同时,论文展示了GAN(在潜在空间中)运行向量运算的能力,只需输入生成的卧室案例和人像案例即可。
![8301488bb297a07530887ce3b9fa921b.png](https://i-blog.csdnimg.cn/blog_migrate/7aa9de4064238bf1dca7acce15861dd4.jpeg)
2. 生成人脸照片
Tero Karras等人在2017年发表的论文《GAN质量、稳定性及变化性的提高》展示了生成人脸照片的案例,照片十分逼真。因此,论文引起了媒体的广泛关注。生成照片时以名人的脸作为输入,导致生成的案例具有名人的脸部特征,让人感觉很熟悉,却并不认识。
论文传送门:https://arxiv.org/abs/1710.10196
![a97d50a2f9afddabb796864dc0977fdf.png](https://i-blog.csdnimg.cn/blog_migrate/1a74b68e30c0a148fc9bab4ff5582bc9.jpeg)
该方法同样用于生成物品和场景案例。
![fe1264a7b84d53e77fdcdeb94b92e261.png](https://i-blog.csdnimg.cn/blog_migrate/0bdaa30b1a551cf2cbe6fa80d4447184.jpeg)
2018年发表的报告《人工智能的恶意使用:预测、预防及抑制》选用的也是以上案例,显示了2014至2017年GAN的快速发展。
论文传送门:https://arxiv.org/abs/1802.07228
![118700022ee46ba681a2f1887952b04e.png](https://i-blog.csdnimg.cn/blog_migrate/1f776993f3c313192a777172f27960e0.jpeg)
3. 生成现实照片
Andrew Brock等人在2018年发表了题为《用于高保真自然图像合成的GAN规模化训练》的论文。论文展现了用BigGAN技术生成合成照片的案例。案例照片几乎与真实照片无异。
论文传送门:https://arxiv.org/abs/1809.11096
![c6fd2558b898de3ea71a6ab5dbafb3a1.png](https://i-blog.csdnimg.cn/blog_migrate/cdc765d864d44dbfe5a2b1541344f89e.jpeg)
4. 生成动画角色
金杨华(音译)等人于2017年发表了题为《用GAN生成动画角色》的论文。论文展示了如何训练及应用GAN来生成动画头像(如日本动漫人物)。
论文传送门:https://arxiv.org/abs/1708.05509
![5dd3fd7e32db2220c482af5d458eea6e.png](https://i-blog.csdnimg.cn/blog_migrate/c340857b90d1a523b02bdbe1865b3474.jpeg)
受动画角色案例的启发,一些人试图利用GAN生成Pokemon这样的角色,比如pokeGAN项目和使用深度回旋GAN生成Pokemon项目。但目前成效甚微。
![602520ddffbee9a46b8c582b06e69eeb.png](https://i-blog.csdnimg.cn/blog_migrate/be94243a237a5b4a985cb156f56b2741.jpeg)
5. 图像转换
GAN在这方面几乎无所不能,因为相关论文显示GAN可以执行许多图像转换任务。
Phillip Isola等人于2016年发表题为《使用GAN技术进行图像转换》的论文。论文特别介绍了如何使用GAN的pix2pix技术进行图像转换。
论文传送门:https://arxiv.org/abs/1611.07004
以下是一些图像转换案例:
· 将语义图像转化成城市和建筑景观图片
· 将卫星图像转化成谷歌地图
· 将白天景观转化成夜晚景观
· 将黑白图片转化成彩色图片
· 将素描转化成彩色图片
![960a2297f3675bbdaa563f85b2da8bfb.png](https://i-blog.csdnimg.cn/blog_migrate/c8da5c27df123715cde7e0bff4cc4503.jpeg)
![c041fd77b1e4bd3dfa50d909e79fe95f.png](https://i-blog.csdnimg.cn/blog_migrate/1f0d30ceb8e5ffc644c7719e0fd58269.jpeg)
朱俊彦等人于2017年发表题为《使用一致循环生成网络进行非配对图像转换》的论文。论文介绍了著名的CycleGAN技术以及大量图片转化的案例。
论文传送门:https://arxiv.org/abs/1703.10593
以下是一些图像转换案例:
· 将图片转化成艺术绘画风格
· 将马的图片转化成斑马图
· 将夏景转化成冬景
· 将卫星图转化成谷歌地图
![6e4fec899d65af1c0c2d08b0e6f41f81.png](https://i-blog.csdnimg.cn/blog_migrate/2f0efaa248e0be930e942ae1574b4722.jpeg)
论文还介绍了其它案例,如:
· 将画作转化成图片
· 将素描转化成图片
· 将苹果图转化成橙子图
· 将照片转化成艺术画作
![fc8df8958995e187f0b8674d5dd5473d.png](https://i-blog.csdnimg.cn/blog_migrate/25821f681f6dff4d364e3cbf300376ca.jpeg)
6. 文字-图片转化
Han Zhang等人于2016年发表题为《StackGAN:使用堆叠GAN技术进行文字-图片转化及合成》的论文。论文特别介绍了如何运用StackGAN将对于简单物体(如花鸟)的文字描述转化为现实图片。
论文传送门:https://arxiv.org/abs/1612.03242
![1d076df5cf4cc7f49a7d8b5d1eadd859.png](https://i-blog.csdnimg.cn/blog_migrate/b1a0a0320337e1060907e6abd45185e7.jpeg)
Scott Reed等人于2016年发表了题为《使用GAN技术合成图像》的论文。论文介绍了把对花、鸟等物体的文本描述转化为图像的案例。
论文传送门:https://arxiv.org/abs/1605.05396
![8b73c6d75dfeae06762c6320d8e8ccde.png](https://i-blog.csdnimg.cn/blog_migrate/e1b0c32443f48fe206d992e0b0601b56.jpeg)
Ayushmen Dash等人于2017年发表了题为《TAC-GAN——受文本限制的辅助分类器GAN》的论文。文中介绍了几近相同的数据集案例。
论文传送门:https://arxiv.org/abs/1703.06412
Scott Reed等人于2016年发表了题为《学习绘画内容和地点》的论文。论文对GAN的此功能作了进一步介绍,并运用GAN完成文图转化,以及运用包围盒和关键点推测描绘物体(如一只鸟)的位置。
论文传送门:https://arxiv.org/abs/1610.02454
![65bc213b0e975960b8fd27c47175916b.png](https://i-blog.csdnimg.cn/blog_migrate/cf06959e763d2bfc63d929e3e72440f8.jpeg)
7. 语义图像-图片转化
Ting-Chun Wang等人于2017年发表了题为《使用条件性GAN进行高清图片合成及语义操纵》的论文。文中介绍了使用条件性GAN根据语义图像或素描生成现实图片的方法。
论文传送门:https://arxiv.org/abs/1711.11585
![bf81654f444ae8ba11bb07c4685a1e14.png](https://i-blog.csdnimg.cn/blog_migrate/996a15f1497ff628bdc206aaf7a7fa1d.jpeg)
具体案例如下:
· 根据语义图像合成城市景观图片
· 根据语义图像合成卧室图片
· 根据语义图像合成人脸图片
· 根据素描合成人脸图片
论文同时介绍了一种可操纵所生成图片的互动编辑器。
8. 生成正面人像图片
Rui Huang等人于2017年发表了题为《人脸转正:全球及地方GAN感知合成拟真正面人像图片》的论文。文中介绍了使用GAN根据特定角度的人脸生成正面人像图片(如脸朝前)的方法。此类技术可应用于人脸验证或辨认系统。
![59bec338a3148e19156b1b4b93b99e30.png](https://i-blog.csdnimg.cn/blog_migrate/f0637dd7d20f061c0c3c97b2a2706f26.jpeg)
9. 生成新体态
Liqian Ma等人于2017年发表了题为《人体体态图像生成》的论文。文中介绍了生成人体模型新体态的案例。
论文传送门:https://arxiv.org/abs/1705.09368
![4e88f06d723e8202dd59f1a00a1302d7.png](https://i-blog.csdnimg.cn/blog_migrate/b479942c0c54bf66118f4dc9d1e01127.jpeg)
10. 图片转表情
Yaniv Taigman等人于2016年发表了《无监督跨领域图像生成》一文介绍了使用GAN跨领域转化图像的方法。比如,将街区数字转化为MNIST手写数码,或将名人照片转化为emoji或动画表情。
论文传送门:https://arxiv.org/abs/1611.02200
![57e5e9fb3cf873f4365d1a8c4ce1fbf8.png](https://i-blog.csdnimg.cn/blog_migrate/8a05643e92d89a24da761092bc31c804.jpeg)
11. 图片编辑
Guim Perarnau等人于2016年发表了题为《使用可逆条件性GAN编辑图片》的论文。文中特别介绍了使用GAN的IcGAN技术根据特定的面部特征如发色、发型、表情甚至性别变化来重建人像图片的方法,比如:
![30ffe0dfb880271c17caaae58b4be5f1.png](https://i-blog.csdnimg.cn/blog_migrate/bb0e069670d7d6eabaa843b0eb26eefd.jpeg)
论文传送门:https://arxiv.org/abs/1611.06355
Ming-Yu Liu等人于2016年发表了题为《耦合性GAN》的论文。文中同样介绍了如何利用发色、表情和眼镜等特征生成面部图片。论文同时也展示了其他图像的生成,如有颜色和深度变化的场景图片。
论文传送门:https://arxiv.org/abs/1606.07536
![02277f5c4714a603bab93f37b44eba7b.png](https://i-blog.csdnimg.cn/blog_migrate/2b88a110a46543bbcdd7253e3ce2fa55.jpeg)
Andrew Brock等人于2016年发表了题为《使用IAN进行神经图片编辑》的论文。文中介绍了一种运用多种变化性自动编码器及GAN的面部照片编辑器。此种编辑器可以快速对人脸特征进行修改,包括修改发色、发型、表情、体态,以及增补面部胡须。
论文传送门:https://arxiv.org/abs/1609.07093
![a17cca5d5c1cba112b722cc974f0c929.png](https://i-blog.csdnimg.cn/blog_migrate/b785c25ca4181aa101759ec33ed38b01.jpeg)
He Zhang等人于2017年发表了题为《使用条件性GAN消除图片中的雨》的论文。文中介绍了如何使用GAN编辑图片,比如消除图片中的雨雪。
论文传送门:https://arxiv.org/abs/1701.05957
![6a3a3970da986ceea3825b301cb42a0b.png](https://i-blog.csdnimg.cn/blog_migrate/77bb24b19aad46bce4696b5e7fc177da.jpeg)
12. 面部老化
Grigory Antipov等人于2017年发表了题为《使用条件性GAN进行面部老化处理》的论文。文中介绍了使用GAN生成不同年龄段人脸图片的方法。
论文传送门:https://ieeexplore.ieee.org/document/8296650
![2df485886f585187d2d00bc22c886a83.png](https://i-blog.csdnimg.cn/blog_migrate/8ea2d9104eb67833834c4ecee41c51dd.jpeg)
Zhifei Zhang等人于2017年发表了题为《使用条件性对抗自动编码器增龄/减龄》的论文。文中介绍了使用GAN对面部图片进行减龄处理的方法。
论文传送门:https://arxiv.org/abs/1702.08423
![9dab282c8410a5283ae5e785cd2c13fd.png](https://i-blog.csdnimg.cn/blog_migrate/ffc0150dcead32c0f8a0a097f4426100.jpeg)
13. 图片混合
Huikai Wu等人于2017年发表了题为《GP-GAN:关于现实高保真照片的混合》的论文。文中展示了GAN在混合照片,尤其是混合田野、大山及其大型物体照片中的应用。
论文传送门:https://arxiv.org/abs/1703.07195
![4fc9b5e52903892066ee2ecb6df2537c.png](https://i-blog.csdnimg.cn/blog_migrate/e3be3c7265c3c61879f15c248fa06610.jpeg)
14. 超分辨率
Christian Ledig等人于2016年发表了题为《使用GAN生成单幅高分辨率图像》的论文。文中特别展示了GAN的SRGAN模型在生成具有超高分辨率图像中的应用。
论文传送门:https://arxiv.org/abs/1609.04802
![5e7602e2cfe85bc9184036ff67954856.png](https://i-blog.csdnimg.cn/blog_migrate/9aa9e439d62901bbe8016d924aa17b2d.jpeg)
Huang Bin等人于2017年发表了题为《使用条件性GAN生成具有高质量、超高分辨率的面部图像》的论文。文中特别展示了GAN在构建不同版本人脸图像中的应用。
论文传送门:https://arxiv.org/abs/1707.00737
![45d5fb562110a2f4841209b7cd19e7e0.png](https://i-blog.csdnimg.cn/blog_migrate/f637e816297678f3fa9c7af27d21b873.jpeg)
Subeesh Vasu等人于2018年发表了题为《使用强化超高分辨率感知网络分析扭曲认知的折中参数》的论文。文中展示了一个使用GAN构建街景高分辨率图片的案例。
论文传送门:https://arxiv.org/abs/1811.00344
![71ac8db205ea43dcb28652b7c1cae267.png](https://i-blog.csdnimg.cn/blog_migrate/41909d711531e1a9c7947db83a79ece5.jpeg)
15. 图片修复
Deepak Pathak等人于2016年发表了题为《文本编码器:通过图片修复学习特征》的论文。论文特别介绍了如何使用GAN的文本编码器进行图片修复或填充空缺,即填补图片中某块缺失的部分。
论文传送门:https://arxiv.org/abs/1604.07379
![40b8937f560006cb05a12ee6a281f1e5.png](https://i-blog.csdnimg.cn/blog_migrate/e7593dcf28cd1ee784b298b9be148732.jpeg)
Raymond A. Ye等人于2016年发表了题为《使用深度生成模型修复语义图像》的论文。文中介绍了如何用GAN对故意损坏的人脸图像进行填充和修复。
论文传送门:https://arxiv.org/abs/1607.07539
![98ff525a3e4b4bc719b07643580a1414.png](https://i-blog.csdnimg.cn/blog_migrate/6ef9da7a349a5b5b3b1d204cff9e7b75.jpeg)
Yijun Li等人于2017年发表了题为《人脸图像生成性填充》的论文。文中同样介绍了如何使用GAN对损坏的人脸图像进行修复和重建。
论文传送门:https://arxiv.org/abs/1704.05838
![92bc3eb44c318900a707a2c1da505305.png](https://i-blog.csdnimg.cn/blog_migrate/608fbabb1be73227fb1e3fae01d8d3b5.jpeg)
16. 服装转化
Donggeun Yoo等人于2016年发表了题为《像素级领域转化》的论文。论文展示了如何根据身着服装的模特照片,运用GAN生成类似服装图集或线上服装店的服装图片。
论文传送门:https://arxiv.org/abs/1603.07442
![5a22eae97ded67e91518594494fe1950.png](https://i-blog.csdnimg.cn/blog_migrate/227a6343094f8d27c321534c7c2318af.jpeg)
17. 视频预测
Carl Vondrick等人于2016年发表了题为《生成场景动态视频》的论文。文中介绍了如何使用GAN进行视频预测,尤其是连续预测最长可至一秒的视频帧,聚焦于场景中的静态因素。
论文传送门:https://arxiv.org/abs/1609.02612
![2d703d91c41adbace55a80aed3eb3b43.png](https://i-blog.csdnimg.cn/blog_migrate/0262a777a6eb72ec5103264783207c7e.jpeg)
18. 3D打印
吴佳俊等人于2016年发表了题为《通过3D生成对抗模型学习物体形状的可能潜在空间》的论文。论文展示了如何使用GAN生成物体的3D模型,比如桌椅、汽车和沙发。
论文传送门:https://arxiv.org/abs/1610.07584
![e6cdd1f2db35cf7003e46c030e13c8a7.png](https://i-blog.csdnimg.cn/blog_migrate/d7f276d9f2a71f4c6946051481d7830f.png)
Matheus Gadelha等人于2016年发表了题为《由2D物体视图推导3D形状》的论文。文中介绍了如何使用GAN根据多种视角的2D物体图像生成3D模型。
论文传送门:https://arxiv.org/abs/1612.05872
![5b038296c13429a785ae3d93a091073b.png](https://i-blog.csdnimg.cn/blog_migrate/617c7e5db7d4c90025f6b3200b4ec2ca.jpeg)
![1a6128b5ccd0b271932f43e9d6488ef7.png](https://i-blog.csdnimg.cn/blog_migrate/16ab77842b1dd8abba17f2e818fa936e.jpeg)
留言 点赞 关注
我们一起分享AI学习与发展的干货
欢迎关注全平台AI垂类自媒体 “读芯术”