无需代码即可看视频造游戏！英伟达再现神操作！

点击上方“视学算法”关注

重磅干货，第一时间送达

GameGAN

2020年5月21日是吃豆人游戏诞生40周年！这是由南梦宫公司开发的一款街机游戏，曾于80年代风靡全球。不知是否凑巧，英伟达于上周发布了一篇论文，起初小编还以为又是AI打游戏，但被现实狠狠甩了一个耳光，这次英伟达是用AI造游戏，而且还是不看代码的那种！

两年前，英伟达的研究人员曾介绍了可以生成视觉效果并将其与游戏引擎结合在一起的AI，以创建一个交互式，可导航的环境。作为这项工作的后续措施，该公司与麻省理工学院和多伦多大学的科学家在上周发表了一篇论文，描述了GameGAN，该系统可以在没有原始游戏代码的情况下生成游戏。

图源自英伟达

GameGAN简介

虽然这项研究看似没什么用，但你细品，GameGAN之类的算法其实是有可能被用来作为训练机器人系统的模拟器。在将机器人控制的AI部署到现实世界之前，通常会在模拟环境中进行广泛的测试，其中包括程序模型，这些模型综合了场景和行为树，这些场景和行为树指定了模拟中代理的行为。编写这些模型和树需要经过时间沉淀的领域专家，这意味着公司的支出会增加。

GameGAN并不是第一个旨在解决游戏生成问题的系统。最近由谷歌发布的一篇文章中有提到使用视频预测技术，通过对雅达利列车游戏的学习，可以生成玩游戏的AI模型。佐治亚理工学院的一项研究也提出了一种算法，通过学习游戏画面并概率性地绘制游戏中对象之间的关系以及它们如何变化。Facebook的系统可以从网球运动员，击剑教练等的真实视频中提取可控角色。

但只有GameGAN独特地将游戏创建框架视为图像生成问题。给定游戏中的帧序列和游戏中玩家采取的动作，系统使用经过训练的AI模型在视觉上模仿游戏。具体而言，GameGAN在训练过程中会读取游戏脚本和键盘操作，并旨在通过限制操作（例如，玩家按下的按钮）来预测下一帧。它直接利用图像和动作进行学习，而无需访问底层的逻辑或引擎。具体原理是其利用一个内存模块来鼓励系统构建游戏环境的地图，解码器学习如何解开帧与帧之间的静态和动态分量，从而使GameGAN的行为更易于解释，并且它可以通过交换各种资料来即时修改现有游戏。

要做到这一点，需要克服研究人员面临的巨大挑战，例如模拟物理引擎并保持长期一致性，因为玩家通常希望他们返回时与离开的场景看起来相同。他们还必须确保GameGAN可以在尝试重新创建的游戏中模拟确定（可预测）和随机（随机）行为。

模型概述

对于上述问题，英伟达团队提出了一个由三部分组成的模型，该模型由动态引擎，上述的内存模块和渲染引擎组成。

图源自英伟达

动态引擎负责了解在游戏环境中哪些动作是“不允许的”，比如穿墙而过，并负责根据对象如何响应动作而做出建模。

内存模块建立了长期的一致性，因此模拟场景（如建筑物和街道）不会随时间变化，这部分是通过“记住”每个生成的场景来实现的。（内存模型还负责检索游戏中的静态元素，例如背景。）

渲染引擎将渲染给定对象和属性贴图的模拟图像，并通过遮挡对象自动考虑深度。

GameGAN使用一种所谓的对抗方法进行训练，在该方法中，系统尝试“欺骗”鉴别器（单图像鉴别器，行动条件鉴别器和时间鉴别器）以生成逼真连贯的游戏。鉴别器分别是单图像鉴别器，行动条件鉴别器和时间鉴别器。GameGAN使用分布式方法从随机噪声样本中合成图像，然后将它们与训练集中的真实示例一起反馈到鉴别器，以尝试区分两者，这样操作的话，GameGAN和鉴别器在各自的能力上都会有所提高，直到鉴别器无法从合成示例中分辨出真实示例时，其准确率要高于预期的50％。有趣的是，当GameGAN-鉴别器每次正确识别合成作品时，都会告诉GameGAN如何调整其输出。整个训练过程以无监督的方式进行，这意味着GameGAN可以在不参考已知，标记或注释结果的情况下可以推断数据集中的模式。

实验结果

在实验环节，英伟达团队在四天内为GameGAN提供了50,000小时（共几百万帧）的《吃豆人》游戏视频和基于Doom的AI研究平台VizDoom。GameGAN还生成了一款3D游戏《毁灭战士》，该游戏允许模拟中的敌人在地图周围移动，并且背景可以随机互换。

图源自英伟达

为了更定量地衡量所生成游戏的质量，研究人员在这两个游戏中均部署了强化学习代理，并要求他们取得高分。例如，吃豆人代理必须“吃掉”颗粒并捕获旗帜，并且每次给鬼混抓到或使用最大步数时都会受到惩罚。

图源自英伟达

研究人员认为，GameGAN在游戏生成方面已经表现出明显的适用性，可与Promethean AI的艺术生成平台等工具一起使用，以快速创建新的关卡和环境。但是他们还预想了未来的类似系统，GameGAN通过观看视频和看代理采取的行为来模仿诸如驾驶规则或物理定律的东西。在不久的将来，GameGAN可以编写模拟器来训练仓库机器人，或者必须横穿人行道以运送食物和药品的运送机器人等等等等。

由AI生成的游戏想必大家都想把玩一下，英伟达则表示将在今年晚些时候在自己的AI Playground上线这些经典游戏啦！

参考链接

论文地址：

https://cdn.arstechnica.net/wp-content/uploads/2020/05/Nvidia_GameGAN_Research.pdf

Github地址：

https://nv-tlabs.github.io/gameGAN/

参考报道：

https://venturebeat.com/2020/05/22/nvidias-gamegan-generates-games-like-pac-man-by-watching-videos/

PS: 后续更多学习资料免费分享！

敬请期待~