如何以用户友好的方式应用生成对抗网络。
没有什么是原创的。 然而,一切都是。 二十世纪初,达达主义者,超现实主义者以及后来的MERZ艺术家Kurt Schwitters都探索了这一事实。 他们将找到的材料混合到新的拼贴和3D组件中。 无数现实的无数碎片成为无数新视野。
人工智能的当代实验产生了相似的美丽成果。 您可能会认识到新作品背后的互文性,但在这里,对您来说,它们是-新世界。 从Google Deep Dream最初开始,就变成了Android梦想的多层面可视化。
现在我们可以看到AI在幻想着电羊,世界以及其他领域。
去年,我写了有关Joan Simon(http://www.joelsimon.net/)的应用程序GANbreeder。 用户友好的BigGAN模型集,已在ImageNet,Kaggle集和其他可视数据库上进行了预训练。 数据可视化的普及和民主化。 它允许与其他用户/艺术家/观看者协作,从现有DNA生成视觉杰作,即使没有详尽的数据科学知识(并非每个艺术家都可以使用Python)。
Joel的最新项目将您带入#AI生成的艺术品的下一个维度。 惊险:
育种者
让我们访问Android Dreams
目前,共有五个部分:"常规","肖像","专辑","风景"和"动漫肖像"。 (该项目正在进行中,因此新的模型和功能一直在出现)。
让我们探索《 Artbreeder综合指南》中的所有模型> Portraits (random selection)
> Portraits (random selection)
一般模式> General
> General
这是前GANbreeder(也由Joel Simon生产)背后的实际核心-抛光并与新模型一起使用。 在这里您可以产生很多东西。
还记得BigGAN的重大突破吗?回到2018年? 您可以为基于Tensorflow的GAN模型提供生成特定主题的任务-结果已经令人信服(可通过Colab Notebook进行尝试)。
使用Artbreeder,您可以从头开始创建世界。
像画像一样,您具有以下功能:
· 随机:显示随机已生成的图像。 您可以选择它们并进行修改。
· Mix-Images穿越现有的肖像和基因-并产生全新的视觉效果。
· Mix-Genes合并特定的语义网络层(Genes)
· 动画创建简短的变形视频。
潜入随机可能最多会使您感到困惑。 除了面孔,您还会在这里找到所有可能的嵌合体,幻象和无法解释的视觉效果。
> Fig 9. Random images from General Topic
此处的修改功能类似于生成人像。
除了" Edit-Genes"(编辑基因)以外,还有一个突出的例外。
> Fig 10. Edit-Genes in General.
如您所见,此处的图层不代表人像中的面部特征,而是代表图案,几乎是柏拉图式的eidos。 这些"基因"是BigGAN中"类别条件采样"中的"类别":视觉数据库的主题,被标记并用于训练。
在图10中,您可以观察到哪些类别是可视化的基础(以及比例):漫画,爱斯基摩犬,宫殿等。
我们甚至可以在这里说明图片的语义词源。
这一变革性的艺术世代是重新映射我们现实的一种全新的方式。 因此,让我们在下一个功能中从头开始创建新图像。
混合基因
首先,您需要选择一个基因(一个标记层,BigGAN中的一个神经网络突触):
> Fig 11. Select a gene
这是一个隐藏目录的类别库。 让我们选择"建筑"作为我们的第一个基因。
> Fig 12. Gene "Architecture"
如您所见,这是一项仔细的标记工作(并非总是如此)。 BigGAN受过关于同一类别无数图像的训练,因此选择一个基因可以产生相同主题的完全不同的图像。 因此,让我们将" Caste"作为第一个基因-第二个将来自" Instruments"类别。
> Fig 13. Select a gene
现在您明白了标签的含义。 这始终是人为因素。 来自ImageNet的图像(以及几乎所有其他图像数据库)被人标记,有时对其目的没有明确的概念。 实际上,在大多数情况下,这里标记为乐器的人是演奏该乐器的人。 含义很明显-它会代替人类,而会产生人类。 对于弱AI来说,所有与要定义的模式有关。
但是现在让我们将"城堡"与"器官"结合起来:
> Fig 14. General results (you can change the intensity of a gene with slider)
即使不能区分内部和外部,城堡和器官也都可以识别。 梦幻般的图像。 当您醒来并想起最近的梦想时,您便会体会到这种感觉–视觉效果在不断变化和变质,消失,滑动。 令人困惑的大脑正在试图找到最简单的概念。
人像
Google Brain研究人员科学家Ian Goodfellow提到,在AI产生面部表情方面的巨大飞跃之前一年:
当2014年AI生成的面孔仍然看起来几乎像pareidolia Mars Face时,2018年已经在照片般逼真的假面孔生成方面取得了突破(用StyleGAN产生的绝对惊人的结果提醒病毒页面ThisPersonDoesnotExist.com)。
现在您可以自己做。 在"画像"部分中,您将找到四个功能:
· 随机:显示已生成的随机肖像。 您可以选择它们并进行修改。
· Mix-Images穿越现有的肖像和基因-并产生全新的角色。
· 相对较新的功能-您可以上传图像进行操作。
创建人像。
因此,让我们从一组现有的肖像中创建一个新人物。 选择"随机"会将您带到" Artbreeder"中的现有图像列表:
> Fig 1: Random browse
> Fig 2: Children
您在这里看到的是最初的可能性。 右上角是实际的修改面板,
· 小孩儿
· 杂种
· 编辑基因
在下面,您可以看到各种用户已经生成的图像。
所有图像功能都是神经网络层,您可以主动或随机更改。
小孩儿
这种修改方法是您控制得最少的方法。 您可以做的所有事情都是更改"相似度"与"差异度"的百分比。 您定义的图像越多,得到的结果就越不同(图2)。 您可以在图片几乎达到您的期望时对其进行微调。
杂种> Fig 3: Crossbreed
> Fig 3: Crossbreed
经典的样式转移模型。 您选择另一个图像(存在于Artbreeder中)作为目标(或来源,取决于它)-通过修改面部和样式参数,可以在两个选定的图像之间传递样式。 因此,您可以合并图片或更改其样式。
编辑基因> Fig 4: Edit-Genes
> Fig 4: Edit-Genes
最有效的修改方式:通过主动更改每个图层的百分比,您可以直接更改特定功能。 在图4中,您可以看到以前的男性眼镜佩戴者肖像-但是通过更改年龄,眼镜,性别的图层,实际上会出现截然不同的图像。 参数Concept_art是一个隐藏的样式转换层,从照片级逼真的图像切换到手写草图或绘画。
血统
图像下方的第二个图标是Lineage。 它显示了肖像的"家谱树":
> Fig 5: Lineage
在我们的情况下,这是一棵短的家谱。 您还将在Artbreeder中找到具有较长故事情节的迭代修改图像。
> Fig 6. Sample for big-scale lineage
上载
这是一项新功能,这使Artbreeder更具了艺术实验室的功能。 它不再是纯GAN专用农场。 它的确意味着:您可以上传图像。 对抗网络可能会以这种方式或其他方式进行和更改它们。 有时并不是您真正想像的那样。
例如,上传这张著名的达达主义者汉斯·阿普(Dadaist Hans Arp)肖像(纸盘隐藏左眼)会导致GAN在"生成器"和"鉴别器"之间的相互作用中进行"校正",并恢复了他的隐形眼睛(改变了视线):
这是与现实世界的实际交汇点(包含版权,数据隐私等所有含义-用户应明智地使用它)。 当然,还有使用条款。
因此,如果将上述汉斯·阿普肖像的风格转移到我的照片上,就会发生这种情况:
> Fig 6. (Crossbreed with uploaded image: Vladimir Alexeev + Hans Arp)
或与Klaus Nomi一起为我进行样式转换:
> Fig 7. (Crossbreed with uploaded image: Vladimir Alexeev + Klaus Nomi)
上传功能极大地增加了可能性。
专辑> Album mode
> Album mode
10.000专辑封面是"专辑"部分中用于训练神经网络的数据库。
这是非常特别的东西-除"肖像"或"常规"以外,"相册"是文本,布局和图像的模拟组合。 人工智能时代已经到来。 我们仍在使用弱AI —文本背后的语义缺失。 这是重新创建文本的计算尝试。
与以前的模型相似,我们具有以下功能:
· 随机:浏览随机生成的相册图像。
· Mix-Images穿越现有的相册并生成全新的视觉效果。
请记住,此处的"字体"和"文字"属于构图。 不能将其单独修改为图层。
与其说是理解,不如说是一种审美观。
各种样式,主题和徽标激发了更多灵感。
风景> Landscapes
> Landscapes
本节说明如何实现无数图像神经网络训练的完美效果。 在这种情况下,景观几乎是完美的。 或可能是我们的感知-与其他动机相比,我们的大脑在自然意象方面的训练也更好。 因此,由于我们的感知忽略了不必要的元素,因此我们没有意识到现有的故障或视觉错误。
您已经知道函数如何工作:
· 随机:浏览随机生成的风景图像。
· Mix-Images穿越现有的景观并生成全新的视觉效果。
就像在专辑中一样-在这里您必须尝试,混合,修改。 (至少目前没有)景观的真正"基因",但是通过参数的随机化,您可以生成出色的示例:
动画
与肖像几乎一样-结果令人压倒。 同样,这就像梦境的可视化一样,在这种情况下,您甚至可以看到或暂停视频,这无法帮助您更好地识别意识。
这是常规动画的示例:
静态图像生成的绝佳补充。 选择关键帧(现有肖像)— AI将以一种几乎不可思议的方式在图像之间生成过渡。 您可以选择持续时间以及过渡模式。
> Fig 8. (Keyframes)
此关键帧序列产生了引人入胜的画面:
您会注意到关键帧之间的各种样式转换过渡—令人着迷。
发展历程
乔尔·西蒙(Joel Simon)是Artbreeder背后的英雄。 但是Artbreeder Discord-Server中也有一些人,他们讨论,交流思想,建议如何适应最佳的UX,了解最新的AI成就,争论服务条款和隐私,分享最新的Artbreeder生成的作品。 卓越的团队合作精神。
Artbreeder的开发非常动态-因为Joel对用户的想法和更正迅速做出了反应。
到目前为止,我在数字产品方面获得的最佳用户体验。
这就是为什么在这篇文章发表后的第二天,Artbreeder可能会获得新功能或更改其界面的原因。 你还在等什么? 潜水并加入Artbreeder。
最近,乔尔(Joel)扩大了选择范围,增加了具有传奇色彩的格文(Gwern)的动漫肖像(动漫模型)(也请访问格文(Gwern)的项目ThisWaifuDoesNotExist.com)。
> Anime model by Gwern
用法?
确实,哪些用例与Artbreeder生成图像有关? 您如何应用结果?
这里有一些尝试:
· 概念设计思路
· 角色设计(适用于视频游戏,桌上游戏,自发的D&D角色生成吗?)
· 艺术项目(图像和视频装置)
· 灵感
……只是列举一些有趣的用法。
您还有其他关于应用肖像生成的想法吗?
创建! 实验! 得到启发!
您的炼金术士。
> Alchemist. Generated by Merzmensch with Artbreeder.
更新。 我找到了一篇很棒的文章,上面写有GAN上类似的标题,该文章由Libre AI的联合创始人兼首席执行官Ernesto Diaz-Aviles博士一年前发表,内容涉及在AI / ML的帮助下画羊的有趣尝试。 免责声明:可能是Antoine deSaint-Exupéry与Philip K. Dick的合并,这是我们理解创造力和人工智能的典型代表。 因此,我没有复制标题,以防万一。 这是二十一世纪的明显后果。 :-)
(本文翻译自Vlad Alex (Merzmensch)的文章《Artbreeder. Draw me an Electric Sheep.》,参考:https://towardsdatascience.com/artbreeder-draw-me-an-electric-sheep-841babe80b67)