太赞了,英伟达又一突破,输入关键词就可以生成直逼摄影师的大片

整理 | 禾木木

出品 | AI科技大本营(ID:rgznai100)

英伟达又一次突破了,这么逼真的照片竟然不是来自摄影师或是设计师!

近日,英伟达官方推出 GauGAN2 的人工智能系统,它是其 GauGAN 模型的继承者,它不仅能根据字词生成逼真的风景图像,还能实时用文字P图!

GauGAN2 将分割映射、修复和文本到图像生成等技术结合在一个工具中,通过输入文字和简单的绘图来创建逼真的图像。

Isha Salian 表示“与类似的图像生成模型相比,GauGAN2 的神经网络能够产生更多种类和更高质量的图像。”

英伟达的企业传播团队在一篇博客文章中写道。“用户无需绘制想象场景的每个元素,只需输入一个简短的短语即可快速生成图像的关键特征和主题,例如雪山山脉。然后可以用草图定制这个起点,使特定的山更高,或在前景中添加几棵树,或在天空中添加云彩。”

例如输入海浪打在岩石上,模型会根据生成的内容逐渐进行相应的调整,以生成与描述匹配的逼真图像。

图片

GauGAN2 的生成模式

GauGAN2 有三种绘制模式,可以从不同的输入生成逼真的图像。

模式1:用涂鸦生成风景照

图片

模式2:输入文本生成图片

图片

这种输入文本生成匹配图像的模式也是 GauGAN2 主要的创新,生成的图像会根据逐渐输入的文本不断发生变化,最终生成和文本匹配最佳的图像。

例如在下图的示例中,文本首先输入 sunshine(阳光),生成的图像中就只出现了一个太阳;之后继续输入 a tall tree(高树),图像中就出现了树(且为顶部树枝,匹配高树);最后,输入的全部文本是 sunshine in a tall tree forest ,意为透过森林的阳光,GauGAN2 最终生成的图像与之相匹配:

图片

模式 3:输入图像并编辑部分内容

如果想要抹掉移除的内容,在生成的图像中会保留剩余的部分,并自动补全出多种新的完整图像:

图片

这三种模式也可以混合叠加使用,例如在用涂鸦绘画等生成图像后,输入文本进行相应的修改,在下图中就生成了一座浮在空中的城堡就出现了。

图片

像像外媒ZDNet就恶搞出来了一种神奇的玩法,在已有的风景上画个人头:

图片

在生成这一系列逼真的图像背后用了什么原理呢?

如何实现?

从 2019 年开始,英伟达改进 GauGAN 系统,该系统由超过一百万个公共 Flickr 图像的训练而成。与 GauGAN 一样,GauGAN2 可以理解雪、树、水、花、灌木、丘陵和山脉等物体之间的关系,例如降水类型随季节而变化的事实。

GauGAN2 是一种称为生成对抗网络 (GAN) 的系统,由生成器和判别器组成。生成器用于获取样本,例如获取与文本配对的图像,并预测哪些数据(单词)对应于其他数据(风景图片的元素)。生成器试图通过欺骗鉴别器来进行训练,鉴别器则用于评估预测结果是否现实。虽然 GAN 的转换最初的质量很差,但随着鉴别器的反馈二不断改善。

与 GauGAN 不同的是,GauGAN2 是在 1000 万张图像上训练而成——可以将自然语言描述成风景图像。输入诸如“海滩日落”之类的短语会生成场景,而添加诸如“岩石海滩日落”之类的形容词或将“日落”替换为“下午”或“下雨天”等形容词会立即修改画面。

GauGAN2 用户可以生成分割图,显示场景中对象位置的高级轮廓。从那里,他们可以切换到绘图,使用“天空”、“树”、“岩石”和“河流”等标签通过粗略的草图调整场景,并允许工具的画笔将涂鸦融入图像。

这是属于更新迭代的过程,用户在文本框中键入的每个词都会为 AI 创建的图像添加更多内容,因而 GauGAN2 才能随着输入文本而不断变换图像。

结语

GauGAN2 与 OpenAI 的 DALL-E 没有什么不同。

不过,这两个模型生成的内容其实不太一样。

GauGAN2 专注于生成风景照,DALL·E 则更多地生成具体的物体,例如一把椅子或者一个闹钟等。

英伟达声称,GauGAN 的第一个版本已经被用于为电影和视频游戏创作概念艺术。与它一样,英伟达 计划在 GitHub 上提供 GauGAN2 的代码,同时在 Playground 上提供交互式演示,Playground 是 英伟达人工智能和深度学习研究的网络中心。

像 GauGAN2 这样的生成模型的一个缺点是存在偏差的可能性。例如在 DALL-E 的案例中,OpenAI 使用了一种 CLIP 模型来提高生成图像质量,但在一项研究中发现,CLIP 对黑人照片的错误分类率更高,并且存在种族和性别偏见问题。

英伟达暂不会对 GauGAN2 是否存在偏见给出回应。英伟达发言人表示:“该模型有超过 1 亿个参数,训练时间不到一个月(还在 demo 阶段),训练图像来自专有的风景图像数据集。因此 GauGAN2 只专注于风景,研究团队还对图像进行审核以确保图片中没有包含人的场景。”这将有助于减少 GauGAN2 的偏见。

目前,GauGAN2 已经可以试完,有使用过或是想要去体验的可以在留言区谈论体验感受呦~

参考链接:

https://venturebeat.com/2021/11/22/nvidias-latest-ai-tech-translates-text-into-landscape-images/

https://www.zdnet.com/article/the-absurd-beauty-of-hacking-nvidias-gaugan-2-ai-image-machine/

评论 18 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

AI科技大本营

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值